Google DeepMind 與 Sierra AI 討論原生音訊模型，聚焦即時語音互動的速度、自然度與工程限制。
語音助手要做到自然對話，關鍵不只是把文字轉成聲音，而是要在用戶說話期間理解內容、掌握語氣，並快速作出回應。Google DeepMind 的 Valeria Wu 與 Sierra AI 的 Soham Ray 透過對談，介紹原生音訊模型如何處理這類即時語音 AI 的核心問題。
討論內容集中於 native audio models，以及建立更流暢即時語音系統時遇到的挑戰。相較於把語音先轉成文字、再交由文字模型處理的流程，原生音訊模型直接處理音訊訊號，有機會保留更多語調、停頓和對話節奏；但系統仍要兼顧理解準確度、回應延遲和運算成本。
內容涵蓋的重點包括：
– 原生音訊模型如何支援更自然的語音互動
– 即時對話中延遲與回應流暢度的取捨
– 建立高質素 voice AI 所面對的工程挑戰
– Google DeepMind 與 Sierra AI 對下一代語音體驗的觀察
這段內容適合關注語音介面、客服自動化、AI agent 和多模態模型的讀者。影片沒有提供完整技術規格或獨立效能測試，因此較適合作為理解發展方向與產品設計難題的入門材料，而不是部署指南。
Skywork AI 把遊戲引擎的穩定規則交給模型外的程式，再用因果視頻模型即時生成細緻畫面。
玩家按鍵、物理碰撞和世界狀態由可執行遊戲引擎處理，低模 RGB 畫面再交給因果視頻模型轉成細緻影像。Matrix-Game 4.0 屬於開源互動世界模型項目，實際處理的是「畫面生成很逼真，但遊戲規則和長期狀態難以維持」的矛盾。
它把視頻模型限制在渲染工作，逐段讀取低模代理畫面、動態描述和參考影像，以蒸餾至一至兩步去噪的 causal DiT，每步生成四幀 latent。Coding Agent 可把玩家指令轉成新規則、修改遊戲引擎，並按相機位置檢索空間記憶，補足引擎未能直接表達的玩法。
和只靠逐幀像素外推的世界模型相比，Matrix-Game 讓規則可由引擎明確保存，減少物件離開視野後狀態消失的問題；代價是每個場景仍需配合遊戲程式、資產和模型。Matrix-Game 1.0 至 3.0 是前身，分別逐步加入即時長視頻生成及 long-horizon memory，4.0 則把重點推向可玩的引擎整合。
測試可先開啟線上瀏覽器 Demo，再按 v4 README 下載資源，選擇離線渲染或單 GPU inference。適合研究互動世界模型、遊戲生成、AI 遊戲原型及需要可控世界狀態的團隊；硬件需求、場景覆蓋範圍，以及 Coding Agent 生成規則的可靠程度，仍會限制它距離通用遊戲製作的距離。
生成式 AI 做海報或儀表板時，常要在視覺美感與文字、數據正確之間取捨。AesCode 把圖片生成器當作設計參考，再輸出可編輯、可驗證的 HTML 與 CSS。
想用 AI 製作簡報、海報、儀表板或網頁，往往不只要內容齊全，版面層次和配色也要合適。AesCode 是一個視覺程式碼生成模型，透過圖片生成器提供美感參考，再把結果寫成可編輯、可驗證的 HTML 與 CSS；文字和數據仍以使用者提示為準，避免把參考圖中的錯誤內容照搬進成品。
AesCode 不把參考圖片當成正確答案，而是訓練模型分開處理內容要求與視覺線索。它先用設計圖表示文字、圖表、表格和版面區域之間的關係，再以多項可程式化檢查評估執行結果、文字、邊界、圖表數據、版面及留白；視覺評分則採用與設計圖連結的評分規準，並把不同評分渠道分開處理。
簡單講，就係「用 AI 將內容變成有設計感、而且可以修改嘅 HTML/CSS」：你提供文字要求，可以再加一張參考圖片，佢就生成資訊圖、簡報頁、海報或者儀表板，而唔係只生成一張平面圖片。
訓練從既有的 8B 和 32B 模型出發，並非從零訓練；項目提供 AesCode-8B 與 AesCode-32B 模型。首頁列出 3,000 個冷啟動監督微調示範和約 7,408 個強化學習提示，並提醒提示數量不等於完整強化學習生成次數。使用者可透過公開模型測試生成結果，再按需要修改 HTML 與 CSS；複雜插圖和照片則保留為語義佔位區，圖表交由 ECharts 處理，未涵蓋的視覺素材可在後續流程交給圖片生成器或人工補上。
測試結果顯示，移除推理階段的參考圖片後，AesCode-8B Visual 分數只下降 1.0 分，基礎模型則下降 19.6 分；即使政策模型推理時看不到參考圖，採用參考圖評分訓練後，僅依提示生成的 Visual 分數仍由 25.17 升至 69.71。AesCode-32B 在 GDB/lica、SlidesBench 和 Design2Code 的 14 項指標均高於 Qwen3-VL-32B 基礎模型，提升較多的項目集中在設計相關指標；這些結果支持設計能力能遷移至其他基準，但不代表每種版面都能一次生成妥當。
需要大量製作資訊圖像、簡報或儀表板的設計與內容團隊，可以把 AesCode 納入生成及後期修改流程；熟悉 HTML、CSS 的開發者亦較容易檢查版面並修正細節。它的優勢在於把視覺指引轉化為可修改的程式碼，而非交付一張難以局部調整的平面圖；若成品需要精細插畫或照片，仍要安排額外素材生成或人工處理。
面對候選答案會增減、排序又不應影響結果的任務，Jeva 以本地 4B 模型處理選擇、否定及評分。
候選答案數量不固定、選項次序不應改變判斷，正是 Jeva 嘗試處理的場景。它屬於開源本地決策模型，輸入狀態和 typed questions，輸出候選機率、Boolean probability 或 expected rubric score，亦能表達「沒有合適答案」。
Jeva 以共享語言編碼器獨立處理 state 和每個 option，再由 compact decision stack 只更新 state，對完整 option memory 作集合式判斷。這讓候選集合可以改變而毋須固定 label vocabulary；排序候選只會同步排列機率，不會改變語義身份。
模型權重可從 Hugging Face 載入本地推理，項目目前要求 Linux x86_64、NVIDIA GPU、CUDA 12.8 及 PyTorch 2.9.1。加速 kernel 可能在第一次請求時編譯，亦提供較慢的 reference installation；evaluation 和 fine-tuning 文件可用來延伸測試。
可重用的 option vectors、projected keys/values，以及完整 option tuples，適合候選內容反覆重組的分類、審核和評分流程。代價是硬件與 CUDA 環境要求較高，而項目提供的評估資料需要按自身任務重新核對，不能只憑模型名稱推斷效果。
面向 AI agents 的 Manim 相容動畫引擎，以 Rust 和 wgpu 大幅縮短 2D、3D 教學動畫的製作等待時間。
製作數學教學片時，渲染速度往往比寫動畫程式更容易拖慢流程。ManimGX 屬於開源 3D 動畫引擎，兼容 Manim CE API，讓 Python 使用者可用熟悉的文字、方程式、曲面和鏡頭，處理 2D 與 3D 動畫生成。
它以 Rust 和 wgpu 重寫渲染核心，並加入完整靜態類型、關鍵字參數及 .animate 鏈式寫法；LaTeX 或 Typst 不需另行安裝。項目亦支援瀏覽器執行，透過 Pyodide 讓示範、教學或 AI agents 生成的動畫毋須先配置完整本地環境。
• M4 Pro、1080p60、五個場景合計 36.2 秒影片，渲染需時 3.08 秒
• 同一測試中，比 Manim CE 快 90.6 倍、ManimGL 快 11.5 倍、Blender Workbench 快 18.7 倍
• manimgx inspect 可檢查 storyboard、2D 版面，以及指定時間或播放結束時的畫面
• 支援語音同步，方便按旁白內容安排動畫節奏
安裝可選 prompt、PyPI 或 npm，適合數學教育、技術內容製作，以及需要反覆生成和檢查畫面的 agent 工作流。速度數字來自 Apple M4 Pro 的固定場景測試，不能直接代表所有硬件、動畫複雜度或互動需求；對已深度依賴 Manim CE 生態的團隊，API 相容性可降低遷移成本，但仍應先驗證現有場景和第三方功能。
Urbex 讓視覺語言代理在城市級 3D 場景自行搜尋證據，毋須預先建立物件候選框，定位能力與效率取捨更值得檢視。
面對城市級 3D 場景，逐一比較預先產生的物件候選框容易拖慢搜尋，也會受候選品質限制。Urbex 屬於開源的 Agentic 視覺模型項目，將 3D grounding 改成主動空間搜尋，讓 vision-language agent 按需要查詢地標、縮放區域、切換斜視角，再提交目標 bounding box。
它不是只靠一次影像判斷，而是在互動式 multi-view environment 逐步收集證據。Reinforcement learning 同時訓練定位和搜尋決策，模型會學習應該檢查哪裏、何時縮窄範圍，以及幾時足以作答；這免除對 precomputed instance proposals 和 ground-truth boxes 的依賴，但每次搜尋仍要承受多步操作成本。
CityRefer 測試中，Urbex 的 ND Hit@1、Hit@3、Hit@5 為 25.8、39.2、42.3，NO 對應為 23.9、36.9、40.7，搜尋時間約 3.2 秒。相較 CityAnchor 的 32.1 秒，速度明顯較快；模型亦在 STPLS3D-Refer 取得 zero-shot 結果，反映跨場景泛化潛力，但不能直接等同於所有城市環境都同樣穩定。
• 支援 CityRefer 訓練及單查詢互動式 3D 推理
• 提供 Hugging Face 的 Urbex-4B 模型和 Urbex-Data 數據集
• 可透過 Colab notebook 試用預測視圖
• 安裝需要 Linux、Python 3.11、CUDA 12.8 及 C++ 編譯器
研究城市建模、3D 視覺定位或多模態代理的團隊，較適合用它測試 candidate-free grounding；想快速驗證概念的人則可先用 Colab。完整訓練需要 CUDA 12.8、Megatron Core、Transformer Engine 和 FlashAttention，硬件及環境門檻明顯高於單純推理，因此本地部署前應先確認 GPU、編譯工具和數據下載流程。
VideoJev 把時間定位與選擇題影片問答放進同一個評分介面，減少生成式回答的延遲。
處理長片段、重複提問或需要找出事件時間的工作時，VideoJev 不必逐字生成答案，而是直接比較候選時間區間和答案選項。這個項目屬於影片理解模型，實際處理 temporal grounding 與 multiple-choice video QA，並將兩項任務放進同一個決策介面。
它以共享影片計算配合 Cached inference 和 Joint inference：前者保留已處理的視覺資訊，方便後續查詢；後者讓多條問題在一次 forward pass 中完成。相較依靠 autoregressive decoding 的 video multimodal large language models，直接候選評分較適合大量、結構清晰的判斷，但不負責自由生成長篇答案。
研究結果亦量得 temporal grounding 約 2.8 至 3.1 倍加速，顯示它較適合影片搜尋、內容索引、監控片段定位，以及需要連續提出多條問題的視覺代理工作流。試用可按儲存庫提供的環境設定，透過 Transformers 的 AutoModel、AutoProcessor 載入 Hugging Face 權重，再以示範影片測試；不過儲存庫資料未交代硬件門檻，BF16 模型的記憶體需求仍需按部署環境自行確認。
CineRecon 將影片重建變成可檢驗的 Agent 任務，要求模型由參考影片建立可編輯、可動畫化的 Blender 場景。
由完整參考影片出發，Coding Agent 透過 Blender MCP 撰寫及修改 Python，反覆比對渲染畫面，再建立包含幾何、材質、角色動作與鏡頭動畫的可編輯場景。CineRecon 屬於影片重建 benchmark，處理的是模型能否將時間連續的影像內容還原成可修改的 3D 工作成果，而不只是產生相似畫面。
項目以三個重建層級拆開能力差異：Proxy 只要求位置、互動及鏡頭運動，Simplified 再保留可辨認形狀和主要外觀，Detailed 則加入特色形狀、材質和細節。三個層級都要求相同的主體動作、事件及攝影機行為，方便分辨模型是只掌握構圖，還是能重建完整視覺內容。
評分由獨立 VLM judge 對齊參考與渲染影片，按片段 checklist 檢查 11 個類別，並以 Camera、Static、Dynamic 三個同等權重維度計算結果。這比單一影像相似度更能揭示鏡頭是否跟足、物件是否保持穩定，以及動作和事件有沒有在正確時間發生。
測試需要 Python 3.10 或以上，支援 Linux 及 macOS；項目提供資料、提示詞、驗證工具和離線 smoke test，但不包含 Agent launchers。團隊可先用離線流程確認資料與評分管線，再接駁 Blender MCP 和隔離 worker 執行重建；研究模型能力時，CineRecon 的價值在於把「看似相似」拆成可追蹤的鏡頭、靜態內容和動態內容，而不是只比較最後一段影片。
只需圖片與 mask，LensErase 便可移除物件、文字或水印，再按周圍內容補回較自然的畫面。
移除圖片中的水印、文字或多個物件時，難處往往不在於遮走目標，而是要同時處理陰影、反光及原本被遮住的背景。LensErase 以 foundation model 形式處理這類影像擦除工作，輸入一張圖片和一個 mask，輸出清理後的結果，適合海報整理、圖片修復及內容再利用等場景。
項目配套的 LensErase-100M 包含 101.07M 組對齊的 input–mask–target 三元組，涵蓋一般圖片、水印、大範圍 mask、視覺文字及海報五類資料，另有 140K 組 SFT samples 和 19K 組 RL samples。高解析度資料會由 GPT-5.6 Sol 檢查 mask 有效性、編輯正確性、重建效果及非目標內容保留程度。
LensErase-Bench 收錄 500 個案例，毋須指定唯一的 ground-truth target，改以 Removal、Inpainting、Preservation 和 Cleanliness 四個維度評估，當中完整移除目標及相關效果佔總分 40%。較貼近擦除任務的實際情況，因為同一個遮罩可能存在多個合理的背景補全方案。
項目展示了跨場景和多物件擦除能力，亦包括海報及反射等較複雜案例。對需要批量清理素材、保留非目標結構的影像工作流；不過使用者仍需等待程式碼及更多可重現資料。
Multics 是騰訊 ARC Lab 與港大合作的多玩家影片生成世界模型，靠分層通訊機制讓同一個訓練版本直接推廣到 6、8、10 人，玩家與鏡頭控制互不干擾。
打機時如果有 4 個、6 個甚至 10 個玩家走在一起，畫面要保持連貫，又要讓每個人各自控制鏡頭與動作，舊做法往往一加人就 O(N²) 爆計，或出現互相干擾。Multics 正是針對這個卡位：來自騰訊 ARC Lab 與香港大學的開源世界模型，採用 Player → Group → Global 的分層通訊，動態根據最近鏡頭軌跡分組，限制無關事件直接混合。共享的 group-token 參數令用 4 人數據訓練的模型，可以直接推廣到 6、8、10 人而毋須重新訓練。
對於做多人遊戲原型、模擬訓練環境或敘事影片的團隊，這個項目直接省掉「人數一變就要重訓模型」的麻煩，同時降低自注意力計算量，GPU 開銷壓得較低。它的代價是依賴 NVIDIA GPU、CUDA 12.8 與 Linux 環境，安裝需用 uv 同步依賴，並從 Hugging Face 下載包含 VAE、tokenizer 與 4-player checkpoint 的完整推理包。
Repository 提供 inference.py 配合 YAML 配置，可選擇 4-player 範例或擴展到多人數測試，原始資料未列出具體的玩家數上限驗證結果，只說明同一個 4 人 checkpoint 能支援 10 人輸出。代碼以 Apache 2.0 授權，研究與商業應用皆可改作。
重點摘要：