InferNews

[技術文章]StepAudio 3 Realtime：邊講邊思考的即時語音模型

2026 年 9 月 16 日 Share to X Facebook Copy link

StepFun 推出 StepAudio 3 Realtime API，用「邊講邊想」機制打破語音對話的延遲與深度矛盾，做到即時回應同時保持複雜推理能力。

StepAudio 3 Realtime API 由 StepFun-Audio 團隊開發，定位為音頻語言基礎模型，專門處理實時語音互動中最棘手的取捨：既要快速回應，又要進行深度推理。傳統語音助手往往犧牲思考深度換取低延遲，這套模型用「Think-While-Speaking」（邊講邊想）機制，讓模型在語音輸出的同時私下執行推理，從而兼顧即時性與邏輯深度。

整體架構圍繞連續的「聆聽—對話—思考—行動」循環運作。Deep Perception 模組負責捕捉豐富的聲學線索，理解用戶意圖；Seamless Duplex 模組則同步處理音頻流，妥善應對停頓、插話、打斷等自然對話現象。在推理模式下，模型在 StepAudioChat 基準達到 73.0 的宏觀平均分數，啟用 Think-While-Speaking 後，對話與推理表現可媲美專門的推理模型，同時保持即時語音輸出。

這套方案的核心矛盾在於延遲與推理深度的對立，Think-While-Speaking 的並行設計試圖打破這個零和遊戲，讓語音助手不再需要在「答得快」與「答得深」之間二選一。

重點摘要：
– 核心架構：Deep Perception + Seamless Duplex + Think-While-Speaking 機制
– 效能表現：StepAudioChat 基準 73.0 宏觀平均分，推理模式對標專用推理模型
– 設計目標：解決語音對話中低延遲與深度推理的傳統矛盾
– 開發團隊：StepFun-Audio Team（StepFun 旗下）

項目主頁 · Paper

Categories: Agentic, Audio, 語音

---

Mind2Dialogue：讓模型學會推斷用戶內心狀態

2026 年 9 月 16 日 Share to X Facebook Copy link

這個項目用一套共享狀態的對話模擬流程，讓模型從純對話歷史推回用戶的信念、目標和情緒，從而提升個人化與心理理論能力。

現時很多聊天模型在多輪對話中表現不錯，但一到「這個用戶其實想要什麼、心情如何、跟上一句話背後的脈絡」就容易失去線索。Mind2Dialogue 直接在訓練階段把這個缺口補上：模擬器跟一個 Oracle 助理共用同一個會隨對話演化的用戶狀態，Oracle 寫出的回覆就成為學生模型的訓練目標；學生模型在訓練時只看到 persona 與對話紀錄，要自行還原背後狀態。

整個流程由六個階段組成：規模化產生 persona 種子情境、批次生成對話、用 LLM 作評審過濾低質樣本、從對話抽取 QA 對、語料改寫增廣，最後做微調與評估。設計上刻意把模擬者、Oracle、評審分成不同模型端點，避免自我評分，也容許把較強模型放在 Oracle 位置。情境類型涵蓋終生關係、高頻互動、情緒事件與敏感議題，使訓練語料貼近真實長期陪伴的場景。

在 Qwen2.5-7B-Instruct 上，個人化指標 PrefEval-Gen 比基礎模型高 33.4 分，PersonaMem-v2 高 10.0 分，並在同骨架下壓過加記憶模組與其他個人化方法。Qwen 與 Llama-3.1-8B-Instruct 在 BigToM 等 Theory-of-Mind 基準上也同步進步，代表個人化與心智理論可能共享同一種「從觀察推回未觀察狀態」的能力。OLMo-3-8B-Instruct 則未見轉移，顯示效果仍受骨架預訓練影響。

隨訓練資料量由八分之一擴到全量，三個骨架的個人化分數都穩步上升，呼應「資料規模足夠，學生才能學會狀態還原」這個核心假設。對做對話系統、角色 AI、AI 陪伴或客服助手的研究團隊，這套管線可作為不需要逐句人工標註的個人化資料生成起點；對關心評測的研究者，內附 LLM-as-judge 與消融設定（full、no_privilege、no_state、latent 等）便於追溯不同監督訊號的貢獻。

重點摘要：

• 共享狀態模擬：模擬器與 Oracle 共用演化中的用戶狀態，Oracle 回覆成為學生訓練目標
• 零人工標註管線：六階段流程從 persona 種子到微調皆可批次執行
• 個人化與 ToM 同步提升：Qwen 與 Llama 在 PrefEval-Gen、PersonaMem-v2、BigToM 上均有明顯改善
• OLMo 未見轉移：效果依賴骨架預訓練特性，OLMo-3-8B-Instruct 在 ToM 上反而下跌
• 資料越多越好：從 1/8 到全量語料，三個骨架的個人化分數持續上升

項目主頁 · GitHub · 數據集

Categories: 開源, Agentic, 模型訓練, Qwen, LLaMa, Dataset 數據集

---

PhysStream：邊播邊拉物件，讓 AI 影片生成更貼近物理直覺

2026 年 9 月 16 日 Share to X Facebook Copy link

PhysStream 是一個物理導向的影片生成模型，用戶可以在生成過程中隨時拖動物件來改變它的運動方向，做到真正的中途互動控制。

以往想用 AI 生成一段符合物理規律的影片，往往需要在生成前就設定好整個控制排程，而且很多方法只懂在像素層面指定物件位置，未必真正理解「力」與「速度」這類物理量。PhysStream 的切入點正正落在這個空隙：它是一個自回歸的物理導向圖生影片模型，支援中途互動，容許用戶在生成過程中隨時拉動物件，改變它的運動方向。

核心做法分兩個階段。先用一個雙向模型做微調，加入速度增量（velocity increment）這類稀疏信號作控制條件，讓模型學到背後的動力學；再訓練一個因果自回歸模型，引入結構化場景記憶，記錄位置圖與物件追蹤圖，使每一幀生成都能參考歷史畫面的一致狀態。同時解決了「中途介入」與「物理一致性」兩個難題。

PhysStream 把運動分佈距離（FVMD）降低 33%、軌跡誤差降低 12%，而且在真實場景的人類評測中，超過 85% 的對比都獲得偏好。在多物件桌面剛體場景裡，這種邊生成邊控制的能力是目前其他方法做不到的。對做特效、動畫預覽或物理模擬預演的團隊來說，這種「拉到邊做」的互動模式會比較貼近日常工作流。

重點摘要：

• 中途拖動控制：生成過程中可隨時改變物件運動方向，毋須事先設定控制排程
• 物理導向信號：採用速度增量而非像素位置，讓模型學習真正的動力學
• 結構化場景記憶：以位置圖與物件追蹤圖維持長影片一致性
• 兩階段訓練：先雙向微調學控制條件，再因果自回歸強化物理一致性
• 評測表現：FVMD 降 33%、軌跡誤差降 12%，人類評測偏好率逾 85%

項目主頁

Categories: AI productions, 視頻模型, 模型訓練, Video, World-Action Model, Robotic, 動畫

---

awesome-ai-for-games：基礎模型開始當玩家、設計師與測試員

2026 年 9 月 16 日 Share to X Facebook Copy link

基礎模型在遊戲場景的角色，已經不限於落子對奕。新加坡國立大學團隊發表的120頁綜述，把AI在遊戲生命週期中的用途分成六種角色，並用同一組問題貫穿比較。

過去談遊戲 AI，多數人直覺想到 AlphaGo 或強化學習對奕 agent，但這個 GitHub 項目展示的視角明顯更廣。它由新加坡國立大學與南洋理工大學作者群發表，圍繞 442 篇文獻、416 篇核心著作，把基礎模型在遊戲生命週期中的角色拆成六類：玩家或 NPC、世界或玩家模型、內容與規則設計、在遊戲引擎內操作、調整運行中的遊戲，以及產出測試證據。

之所以這樣分類，原因是同一個預訓練模型可能同時擔任多個角色，但每個角色對應的接口、限制與所需證據都不同。項目用三個反覆出現的問題貫穿六個角色：邊界（由遊戲或工作流提供、由 AI 負責的部分）、遷移與重用（哪些能力與產物能跨場景複用，哪些仍綁死在特定設定）、證據（評估方法是否真正支撐了結論）。這套問法讓「會寫程式」與「會做玩家」不再混為一談。

從實際工作場景看，遊戲工作室、引擎開發者、玩家行為分析團隊，以及研究遊戲 AI 的學界，都能從這份分類地圖中快速定位自己關心的子題，例如社交協調架構 CASCADE、桌面資料視覺—動作預訓練 D2E，或者長時程 LLM agent 的 bounded-memory 測試環境 AgenticSTS。

理解這個項目最直接的方式，是把它視為一份研究地圖加書目入口：項目網站提供可搜尋的 442 條參考清單、論文圖表與影片導讀，並把同一套分析框架套到每一個角色，讓讀者比較不同子領域的成熟度。對想入門遊戲 AI 的人而言，它比單篇論文更容易判斷哪些方向已有共識、哪些仍處於早期定義階段。

重點摘要

• 120 頁綜述、442 篇參考文獻，由新加坡國立大學與南洋理工大學團隊共同整理
• 把基礎模型在遊戲中的角色分成六種（玩家、世界模型、設計、引擎內操作、運行中調整、測試），而非按模型架構分類
• 用「邊界、遷移與重用、證據」三個問題貫穿所有角色，作為統一的分析視角
• 涵蓋社交協調、桌面視覺—動作預訓練、長時程 LLM agent 測試等多條子題線索
• 項目網站提供可搜尋書目、圖表與 90 秒影片導讀，方便快速定位子領域

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型訓練, Video, 框架

---

LynnReal-Omni 把十幾種影片任務塞進一個 32B 模型

2026 年 9 月 15 日 Share to X Facebook Copy link

一個 32B 多模態擴散 Transformer，同時做文字生影片、圖生影片、動作控制、風格遷移、影片修復同長影片串流。Flash 版本更可喺單張 H100 上 377 毫秒出 22 帧 540p 短片。

LynnReal-Omni 想解決嘅，係影片生成工具鏈最煩嘅一件事：每加一個任務（動作控制、參考影像、風格遷移、編輯、修復）就要疊多一個模型或多一套 pipeline。作者選擇用一個 32B 共享多模態擴散 Transformer（跟 MiniMax H3 架構）一次過承載文字生影片、圖生影片、人體與手部姿勢控制、結構控制、omni-reference、風格遷移、影片編輯、退化影片修復，以至串流式長影片生成，仲可以接駁外觀參考、可編輯 3D render、遊戲錄影等異質輸入，等 Agent 可以喺同一個模型內組合視覺條件。

對比同類做法，最大差異係「統一框架」而非「任務專用模型」。每個源帧獨立編輯再組裝成無聲 24fps 影片，每帧只需四次 DiT forward，120 帧即 480 次 forward。輸入限制清楚：24fps、寬高需為 32 倍數、目前只支援 768p（1344×768 起手）。獨立逐帧編輯會帶來亮度或形狀嘅帧間抖動，作者亦坦白標示為已知限制。

LynnReal-Omni

對短片創作者、遊戲或 3D 團隊、Agent 開發者來講，好處係少咗一套模型接駁嘅工程成本；Agent 可以直接用外觀參考同 3D render 嚟組裝條件。Flash 版本（27B、三步生成、輕量 VAE decoder）將單張 H100 上 22 帧 540p 由 843 毫秒壓到 377 毫秒，為實時或互動應用鋪路。

項目已提供 ComfyUI workflow 涵蓋 t2v、i2v、r2v、pose2v、v2v 幾個入口，但作者明言仲係早期 beta，質量、兼容性同 bug 仍然存在，訓練代碼、部分訓練數據同更高效 DiT 預計稍後釋出。打算用佢做關鍵流程嘅團隊，宜先以小批量預覽（--indices 0,24,48 --keep-clips）確認穩定性再評估是否引入生產。

重點摘要：
– 一個 32B DiT 模型覆蓋十幾種影片任務，Agent 可直接組合異質視覺條件
– 每源帧四次 DiT forward，120 帧共 480 次；輸入限 24fps、寬高需 32 倍數、768p
– Flash 版本用 27B 加輕量 VAE，單張 H100 上 22 帧 540p 暖機生成耗 377 毫秒
– 獨立逐帧編輯會產生帧間亮度與形狀抖動，屬已知限制
– ComfyUI 支援 t2v、i2v、r2v、pose2v、v2v，目前屬早期 beta，訓練代碼尚未開源

GitHub · 模型

Categories: 開源, ComfyUI, Agentic, AI productions, 模型, 多模態模型, 模型訓練, Video, Image, 框架, 工具, Content Creator, 3D, MiniMax

---

AlayaVista：全景潛態驅動嘅可串流世界模型

2026 年 9 月 15 日 Share to X Facebook Copy link

AlayaVista 從一張透視圖出發，建立 360° 全景先驗，再隨鏡頭動態演化作為視點潛態，逐區塊渲染並局部精煉所選畫面，做流暢且高保真嘅可控影片生成。

想由一張普通圖片，邊拉鏡頭邊即時生成高質影片，而又唔丟失 360° 場景記憶？AlayaVista 就係為呢個矛盾而設計——佢屬於世界模型（World Model）類研究原型，處理嘅係可控、可串流嘅影片生成問題。

核心做法分三步：先用一張透視圖估出完整 360° 全景先驗，模擬出 VR 風格嘅場景記憶；之後鏡頭控制訊號會驅動呢啲全景潛態持續演化，保持全局一致性；最後系統只渲染用戶當前視角所在嘅區域，並用潛態視口渲染與局部精煉做高保真合成。為咗兼顧速度與質素，佢採用 chunk-autoregressive 逐區塊自迴歸生成，配合少步蒸餾（few-step distillation），令串流過程唔使逐幀重頭計，全部運算力集中在真正需要輸出嘅視窗。

比起傳統逐幀擴散或全景一次性輸出嘅做法，呢種「全景當記憶、視口當輸出」嘅分工換嚟兩個明顯取捨：視窗畫面更銳利、代價係鏡頭一轉就要重新做視口對齊；同時間全景一致性同幀率都受惠於 chunk 邊界設計，對長鏡頭平移類場景特別友好。

幾個重點摘要：

• 全景記憶 + 局部渲染：以 360° 全景潛態維持場景上下文，鏡頭視口獨立精煉，避免整段重算。
• 鏡頭可控串流：支援 user-controlled camera 訊號輸入，邊互動邊生成適合遊戲引擎、VR 預覽或 cinematic pre-vis。
• 效率設計：chunk-autoregressive 加 few-step distillation，專注運算力於選定視窗。
• 仍屬研究階段：roadmap 列明推理代碼同預訓練權重尚未釋出，目前只可睇 paper 與 project page 嘅 demo。

呢類模型對做互動敘事、VR 內容預覽、遊戲關卡 walkthrough 嘅團隊最有直接參考價值，因為佢直接處理「鏡頭會行、背景要穩」呢個常見卡位。對純做離線一鍵出片嘅用家嚟講，呢類串流設計嘅優勢未必即刻見效，但對需要低延遲、長時序一致嘅創作流程，呢條技術路線值得留意。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 視覺模型, 視頻模型, 世界模型, Video, Image, 框架, 教學

---

HazardAuditor 判斷 Computer Use Agent 嘅執行點解會做錯

2026 年 9 月 15 日 Share to X Facebook Copy link

當 AI Agent 讀檔、呼叫工具、發出請求，一連串看似無害嘅步隨時喺串連成軌跡後先變得危險。HazardAuditor 正正針對呢個盲點，把整段執行紀錄一齊審核再落判決。

電腦操作代理（computer-use agents）嘅安全漏洞，往往唔係一句指令有幾惡毒，而係連串看似平凡嘅讀檔、工具呼叫同外部請求喺執行軌跡中先浮現成危險。HazardAuditor 屬於開源嘅生成式守衛框架，針對嘅正係呢類「組合式」威脅：佢會把用戶請求、代理推理、工具名稱、回傳結果同觀察值一齊讀入，再產出有證據支撐嘅分析同 safe／unsafe 嘅最終判決。

同傳統內容過濾最大嘅分別，係佢唔再單睇字眼，而係睇代理「實際做咗咩」。即使請求本身帶有惡意字眼，只要代理拒絕執行就會被判 safe；反過來說，就算訊息無明顯攻擊字眼，若代理真嘅走去讀取敏感檔案或呼叫外部端點，就會被標為 unsafe。呢種行為導向嘅判準，令審計結果貼近真實風險，而非停留喺字面審查。

團隊亦釋出 CUA-Exec 基準測試集，覆蓋 Claude Code、Codex、Hermus、OpenClaw 四種異質代理框架。HazardAuditor 喺 Claude Code 取得 94.00% 準確率，Codex 更達 95.50%，比原有最佳守衛分別提升 12.5 同 4.0 個百分點；其中針對 OpenClaw 嘅改進幅度最大，達 +16.5。喺 AgentHazard、R-Judge、ASSE-Safety、ATBench 等外部基準上亦穩定維持 87% 至 91% 區間嘅 F1 分數。模型權重同 GuardPO 訓練方法已開源，Apache-2.0 授權，研究同企業團隊可以直接接入自有多代理系統做執行期審計。

重點摘要

• 軌跡級審計：同時讀取請求、推理、工具、參數同環境觀察，避免孤立地評估單段文字。
• 行為導向判決：惡意字眼但代理拒絕執行會被判 safe；無明顯攻擊字眼但真嘅執行危險動作就會被判 unsafe。
• 可解釋理據：每次裁決都會列出執行證據，方便事後追溯同審計。
• 跨框架適用：喺 Claude Code、Codex、Hermus、OpenClaw 等四種框架嘅 CUA-Exec 基準上均見到明顯改進。
• 開源易接入：模型權重、訓練方法 GuardPO 同 Apache-2.0 授權齊備，適合代理產品研發同安全團隊做執行期防護。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, 框架, 工具, 安全, OpenClaw

---

KaiNinja 將 3D 生成推到部件級 – 直接拆零件

2026 年 9 月 15 日 Share to X Facebook Copy link

一張圖就能生成分件可拆的 3D 模型，毋須人手標註或語義分割。KaiNinja 用兩個 O-Voxel 體素保留部件接觸面，把原生 3D 生成器延伸到部件級。

以往想做一張椅子、可以分開拆件再重新組裝的 3D 模型，往往要事先畫遮罩或跑一套語義分割網絡，既費時又限制後續編輯彈性。KaiNinja 由 Alaya Lab 團隊提出，目標是把 TRELLIS.2 這類原生 3D 生成器直接延伸成「部件級」輸出，毋須遮罩或分割網絡就能從單張圖生成可拆分的部件網格。

模型輸出兩個 O-Voxel 體素，各自解碼後透過連通區分量化成獨立部件，同時保留部件之間的接觸面，避免拆件後出現破洞或懸空。換言之，它在現有 3D 生成流程中替代或補強的，就是那一步手動標註與分割。

對遊戲美術、3D 資產設計、以及需要快速做可編輯原型的團隊來說，這類即拆即改的部件輸出明顯降低後製成本。雖然目前只釋出技術報告與項目頁面，推斷碼與預訓練權重尚未開源，但官方展示的下游材質替換與手繪動畫片段，已能看出部件分離對後續工序的實質幫助。

官方在 986 個物件的評測中，以匈牙利配對方式同時報告整體與部件級指標，在 CD、F1、mIoU 七個項目上均領先 X-Part、OmniPart、PartPacker、AutoPartGen 等同類方法，亦勝過用同一語料微調過的 TRELLIS.2。Fail 率（即整體 CD 大於 0.1 的比例）亦由 5.4% 降至 0.7%，代表部件拆分並沒有犧牲整體幾何質素。

重點摘要

• 輸入單張圖片即可輸出部件級 3D 網格，免遮罩免分割網絡
• 以兩個 O-Voxel 體素保留部件接觸面，避免拆件破洞
• 在 986 件評測中，部件與整體指標同步領先 OmniPart、PartPacker、AutoPartGen
• Fail 率由 TRELLIS.2 的 5.4% 降至 0.7%，整體幾何質素未受部件任務拖累
• 目前僅有技術報告與項目頁面，源碼與權重標示為 Coming soon

項目主頁 · GitHub

Categories: 開源, 騰訊, AI productions, 模型, Image, 3D, 動畫

---

LLaDA-UI 首個開源擴散 GUI Agent 16.7B MoE 力壓 Qwen3-VL

2026 年 9 月 15 日 Share to X Facebook Copy link

Inclusion AI 把 block-wise 擴散語言模型搬進螢幕操作場景，推出約 16.7B 參數的 LLaDA-UI，在六個 GUI 基準上贏 Qwen2.5-VL-7B，部分項目更超越 Qwen3-VL-8B。

一般講 GUI Agent，都預設底層係自回歸 VLM；Inclusion AI 同螞蟻集團 Venus Team、西湖大學合作推出的 LLaDA-UI，偏偏選擇用 block-wise 擴散語言模型做骨幹，直接從遮罩 token 逐塊 denoise 出推理同動作，配合原生動態解像度視覺編碼器，覆蓋手機、桌面、網頁同 grounding 任務。模型全段約 16.7B 參數嘅 MoE 架構，訓練分兩階段，先做大規模多模態預訓練對齊 LLaDA2.0-mini-base，再做 GUI 監督微調。

喺 ScreenSpot-Pro、AndroidWorld、MobileWorld、WebVoyager 等六個基準上，LLaDA-UI 全部贏過 Qwen2.5-VL-7B，其中 ScreenSpot-Pro 52.9、AndroidWorld 53.5、WebVoyager 56.9，喺呢四項仲壓過 Qwen3-VL-8B；官方同時提到 API 速度最高有 8.95 倍 mean speedup。佢仲針對擴散解碼做咗一輪分析，包括動作合法性、軌跡長度、EOS 處理、denoising 步數同 block size 對表現嘅影響。

如果你做開手機或桌面自動化、需要 GUI Agent 處理長步驟任務又想避開自回歸延遲，LLaDA-UI 提供咗一套唔同嘅技術路線選擇；研究擴散語言模型落地嘅人，亦可以直接拎佢嘅 block-parallel 解碼行為做案例。

重點摘要

• 約 16.7B 參數 MoE 擴散 GUI Agent，由 Inclusion AI、Ant Group Venus Team 與西湖大學共同發表
• 骨幹為 LLaDA2.0-mini-base 配合 SigLIP 初始化嘅動態解像度 ViT
• 六個 GUI 基準全部超越 Qwen2.5-VL-7B，ScreenSpot-Pro 等四項高過 Qwen3-VL-8B
• 訓練涵蓋 100+ 中文與 70+ 英文手機 App，覆蓋 mobile、desktop、web、grounding
• 附帶針對 block-wise 擴散解碼嘅分析，包括結構化動作有效性、EOS、denoising 步數等

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, UI/UX

---

BVB 用 影片內容令 AI 自動轉為 Blender 3D 場景

2026 年 9 月 15 日 Share to X Facebook Copy link

BVB 拋開選擇題，要求 AI 代理直接用 Blender 重建 288 段真實室內影片，從程式碼品質判斷它到底有冇真正理解畫面內容。

現時大多數影片理解 benchmark 都係問 AI 「張圖入面有幾多張椅」，但 BVB（Blender-VideoBench）行另一條路：畀 AI 睇一段室內影片，然後叫佢自己寫 Blender 腳本，把場景、鏡頭動線逐個 primitive 砌返出嚟。如果代理人交到一個可以重新開啟、可以渲染嘅 .blend 檔，代表佢真係睇明條片。

每個代理會都被困喺同一個 Blender 4.2 Docker 沙盒入面，淨係可以用 bash 同 frames，仲有共享成本上限。禁止使用任何外部素材庫，幾何體全部由代理自己用基本操作砌出嚟。呢種「同條件競技」設計解決咗以往影片 benchmark 靠選擇題容易被 prompt hack 或者背答案嘅問題。

數據方面，BVB 用咗 ARKitScenes、ScanNet、ScanNet++ 嘅 288 段室內影片，配合 5,130 條時空題目，並涵蓋 10 個模型家族、共 51 個配置。評分用兩條軸：Dual VQA 睇重建場景保留幾多影片入面嘅時空事實；Latent Similarity 就用凍結影片 embedding 對比重建結果同原片嘅感知距離，再以平方根均值合成綜合分數。

對做空間智能、機器人感知或者影片理解研究嘅團隊嚟講，呢個 benchmark 提供咗一個更貼近「代理人真係要喺軟件入面操作世界」嘅測試場景。視頻生成、動畫製作或者世界模型團隊亦可以直接借用 Mini-BVB harness 喺自己 pipeline 度做壓力測試。

團隊結果顯示，最強配置喺 Latent Similarity 做到 88.6，但 Dual VQA 仲有明顯差距，代表現時頂級模型仲未做到「理解」同「重建」兩條線同步推進。呢個落差本身就係 BVB 想凸顯嘅訊號：識答題未必等於識建模。

重點摘要

• 288 段真實室內影片，全部來自 ARKitScenes、ScanNet、ScanNet++ 嘅 held-out split。
• 51 個代理配置橫跨 10 個模型家族，統一跑喺 Mini-BVB 沙盒同成本上限下。
• 禁止使用外部素材庫，逼代理人由 Blender primitives 自己砌幾何。
• 評分用 Dual VQA 加 Latent Similarity 兩條軸，避免單一指標偏廢。
• 目標係可執行、可重新渲染嘅 .blend 檔案，而唔係文字描述或者單張圖。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, Embedding, 視覺模型, 多模態模型, 世界模型, Qwen, OpenAI, Gemini, Video, 軟件, 庫, Anthropic, 動畫, Dataset 數據集

---