世界模型 – InferNews

NVidia Hydra-0 以人類動作統一機械人訓練

2026 年 8 月 25 日

Hydra-0把機械人動作轉成畫面上的像素流，讓同一個世界模型學習不同機械人形態，並支援模擬、策略評估及真機控制。

機械人面對不同手臂結構、夾具和操作環境時，動作通常以各自的關節或末端執行器座標表示，令資料難以共用。Hydra-0以 Action Flow 將可見的機械人運動表示成影像平面上的像素流，建立跨形態、任務和環境的共同控制介面，屬於面向通用控制的 world model。

Hydra-0在運行時採用 hybrid simulator：physics engine 負責移動機械人，learned video model 則預測動作對場景造成的變化。模型可從 egocentric human demonstrations、handheld UMI grippers、single-arm robots 和 bimanual robot arms 等互動影片學習，減少依賴單一機械人平台資料的限制。

Forward mode會根據 gripper flow 預測未來場景，生成的結果可用於 open-loop policy evaluation；inverse mode則由目標物件的 flow 推導相容的機械人運動，再透過 supervised readout 轉換成可執行動作。把模擬、策略測試和控制放進同一套模型流程。

• 以像素流統一四種不同 embodiment 的互動資料
• 同時支援世界預測、策略評估及機械人控制
• 以 physics engine 和 learned video model 組成 hybrid simulator
• 最佳配置令 robot-motion error 降低90.4%，object-motion error 降低60.2%，比較基準為 action-conditioned baseline

Hydra-0適合需要整合多來源示範影片、先在模擬環境測試策略，再連接真實機械人的研究和開發工作。它仍然依賴動作影片、像素流表示和模型預測的準確度，跨形態轉移能否在更多任務中保持穩定，仍要配合完整數據和真機測試判斷。

項目主頁

Categories: NVIDIA, Video, Image, 視覺模型, Robotic, 世界模型, World-Action Model

ForgeWM 把遊戲世界模型推向 72 FPS 即時互動

2026 年 8 月 21 日

由中大、騰訊等團隊開發的 ForgeWM，將遊戲畫面生成壓縮至一至四步，讓鍵盤、滑鼠及手掣輸入能即時改變虛擬世界。

中香港中文大學、騰訊 PCG、復旦大學、上海人工智慧實驗室及香港科技大學的研究團隊，將 ForgeWM 做成開源的 action-conditioned video world models 訓練項目，處理遊戲輸入與連續畫面生成難以兼顧的問題。它以 Matrix-Game 2（MG2）為基礎，讓模型根據鍵盤、滑鼠或 gamepad 操作即時推演遊戲畫面。

ForgeWM 的價值在於把生成步數降至 1、2 或 4 步，換取更低延遲的互動體驗；取捨是畫面質素、控制準確度與推理速度仍要依賴訓練資料和硬件。相較只展示影片生成的做法，ForgeWM 直接處理 frame-aligned 的動作訊號，並將同一套流程移植到另一個 gamepad 驅動的 FPS 領域。

一套四階段流程：bidirectional SFT、teacher-forced causal AR、consistency distillation、on-policy DMD
ForgeWM-1、ForgeWM-2、ForgeWM-4 分別對應一、二及四步生成
單張 H20、352×640 畫面下，1-step 模型最高達 72 FPS
完整公開 weights、training code 及 pre-encoded data

模型並非各自獨立訓練：Stage 0 先對目標遊戲作 bidirectional fine-tuning，之後固定為教師；Stage 1 將生成器改成 causal AR，Stage 2 壓縮 sampling trajectory，Stage 3 再用學生自行 rollout 的結果進行 on-policy matching。這個結構讓 ForgeWM-1、-2、-4 可從相同基礎流程按步數預算建立。

研究、遊戲 AI 及需要即時互動生成的團隊較容易受益，尤其適合測試鍵鼠控制的 Minecraft 或 gamepad FPS。資料提供的指標包括 168 ms per chunk、72 FPS 及 8×H20 完整訓練配置；模型及數據連結整理環境，要預留 8 張 H20 重現完整訓練流程。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, 騰訊, Video, 模型訓練, 世界模型, World-Action Model, 上海人工智慧實驗室

Evoke 把世界模型推向可互動長片段

2026 年 8 月 21 日

Evoke 讓生成世界記住鏡頭走過的地方，並可在畫面持續生成時改變指令，突破短片段與固定提示詞的限制。

鏡頭由使用者操控時，畫面不必每隔幾秒重新開始；Evoke 會保留場景幾何，按鏡頭位置取回需要的資訊，讓探索可以延續更長時間。它屬於開源的自回歸世界模型，實際處理的是互動影片生成中的空間記憶、持續生成與中途改變指令三個問題。

模型採用 14B 參數、三步採樣及 classifier-free guidance（CFG）免費的生成流程，在單張 H200 上以 2.11 秒生成 1.5 秒、384×640 影片。外部 camera-indexed world state bank 將世界狀態與 denoiser 分開保存，配合按需檢索令每一步的上下文維持有界；代價是推理需要依賴鏡頭姿態與狀態管理，並非單純輸入文字便可獨立生成長片。

Evoke 以 per-chunk conditioning 支援生成途中重新提示，例如在原有場景加入風暴、物件或事件，而不需要剪接或重啟。訓練端亦為長時段 self-forced supervision 重建 teacher，加入 chunk-wise grouping、distant-frame retrieval 和 linear-attention global state，讓記憶及計算量按長度線性增加；README 同時提醒，訓練與推理必須使用一致的 warp / attention 配方，否則可能出現不易察覺的失配。

WBench 上，Evoke 以三步世界模型取得目前最佳成績，並在 VBench-Long 及 VBench-2.0 維持競爭力，但項目資料未提供完整硬件需求、互動控制介面或不同 GPU 的速度比較。研究團隊、遊戲原型製作者及需要長時間可操控影片的開發者，可從 Hugging Face 權重、GitHub launcher 和 examples 開始測試；使用前應先確認 H200 級硬件、模型下載容量，以及本地環境是否符合程式依賴。

• 三步、CFG-free，單張 H200 每 2.11 秒生成 1.5 秒影片
• 以 camera-indexed world state bank 保存跨片段場景記憶
• 生成途中可重新提示，改變接下來的事件或環境
• WBench 領先，VBench-Long 與 VBench-2.0 保持競爭力
• 開源權重與程式可供研究及互動影片原型測試

項目主頁 · GitHub

Categories: 開源, Video, AI productions, 視頻模型, 世界模型

HarnessEval-W 讓世界模型評測留下可核查推理鏈

2026 年 8 月 18 日

世界模型評測不再只給一個分數，HarnessEval-W把每次判斷拆成可追溯的證據樹，讓物理與因果錯誤更容易核對。

當世界模型生成一段互動場景，真正難判斷的往往不是畫面是否漂亮，而是物理、因果和世界狀態有沒有隨行動正確演變。HarnessEval-W 屬於開源的 agentified benchmark，實際處理的是如何把這些需要理解上下文的評測工作，轉化成可檢查、可重現的判斷流程。

它借用 Large Language Model（LLM）生態常見的 harness 思路，先按每個 evaluation case 的初始世界、action 和 probe intent 分解問題，再由具備不同工具與上下文的 specialized sub-agents 分工判斷，最後由 parent agent 驗證證據並整合 verdict。每次評測都會留下 evidence tree，記錄測試內容、視覺依據和完整推理鏈，研究團隊可以追查分數由何而來，而不是只接受一個難以解釋的 scalar score。

支援 330 個 evaluation cases、5,940 次 scored rollouts
以 11 個 specialized evaluation skills 覆蓋品質、轉換與持續性
涵蓋 18 個 world models，並提供 leaderboard 與可執行評測程式
包含 harnesseval-metrics，以及 physical-plausibility backend harnesseval-pavrm

HarnessEval-W 在 intentional transition 上與人類 Bradley–Terry ranking 的 Spearman correlation 為 0.93；physical transition 的 pairwise accuracy 達 71.7%，高於 WBench 的 31.9%。重複評測的結果範圍亦較 WBench 窄 4.9 倍，但這些數字仍取決於案例設計、技能路由和代理判斷品質，不能直接視為所有世界模型任務的通用排名。

項目提供固定 plans、benchmark 資源、metric backends 和可延伸的 skill library；團隊可以先重現既有 cases，再提交新世界、新 action、新 probe family 或新 skill。它較適合研究世界模型、建立可審計評測流程，或需要比較物理合理性與狀態持續性的團隊；對只想快速取得單一分數的測試流程而言，完整證據樹會增加運算與整合成本，但換來更清楚的錯誤定位能力。

項目主頁 · GitHub

Categories: 開源, Agentic, 庫, 世界模型, 北京大學, Dataset 數據集, Skill 技能

Google DeepMind 把手語 AI 放進用戶手中　涵蓋 30 種 ASL 詞彙

2026 年 8 月 13 日

Google DeepMind 將手語識別 AI 整合到日常應用，讓失聰與健聽人士的溝通更自然。

A person signs with one hand while holding a smartphone, demonstrating the Gboard sign-to-text dictation feature.

聾人手語使用者日常面對的最大卡位，是怎樣讓手機或視訊鏡頭直接「讀懂」手語並即時翻譯。Google DeepMind 近期把手語 AI 從實驗室帶到實際產品中，覆蓋約 30 個美式手語（ASL）詞彙並透過 Gemini 模型支援即時回應，目標是讓聾人朋友毋須依賴真人翻譯就能完成基本對話。

這套技術並非單純的影像分類，而是結合姿態估計、語境理解與大型語言模型的能力，把手語動作轉成自然語言並維持對話節奏。比起過去只能辨識孤立詞彙的系統，現時更著重處理連續手語與多輪對話，使翻譯過程貼近真實交流節奏。

DeepMind 同時強調負責任部署，與聾人社區合作收集訓練數據，並透過小規模詞彙起步降低誤譯風險。對於依賴視訊通訊的聾人用戶來說，這項能力讓 Zoom、Meet 等場景下的溝通體驗更貼近健聽人之間的對話節奏。

這項功能適合手語使用者、聾人家屬，以及需要服務聾人客戶的企業。它並非要取代真人翻譯，而是作為日常輕量溝通的輔助工具，降低手語學習門檻並促進更即時的互動。

重點摘要：

覆蓋範圍：支援約 30 個 ASL 詞彙，涵蓋日常問候與基本對話。
技術核心：結合姿態估計與 Gemini 大型語言模型，處理連續手語與上下文。
部署方式：整合到 Google Meet 等視訊應用，即時翻譯手語為文字或語音。
負責任設計：與聾人社區協作訓練數據，從小規模詞彙起步降低誤譯風險。
使用場景：聾人用戶日常視訊通話、聾人家庭成員溝通、企業客服聾人客戶。

項目主頁

Categories: Google, Gemini, Agentic, Video, Audio, 安全, Robotic, 世界模型, Skill 技能

UA-NWM 不確定性無人機導航

2026 年 8 月 11 日

無人機朝目標圖片飛行，最難唔係預測一條路，而係判斷目標畫面是否仍屬合理路徑。UA-NWM 解決「模型解釋唔到」的誤差。

戶外無人機導航最易出錯的位置，在於前方畫面未必只有一種合理變化。UA-NWM 把這個問題當成 world model 的評分工作處理，面向 aerial image-goal navigation，唔再只估一個未來畫面再同目標硬碰硬，而係判斷目標圖片是否落在模型預測的未來狀態分佈之內。

它最值得留意的技術點，是用 Hierarchical Error Projection（HEP）把預測與目標之間的差距拆成可由不確定性子空間解釋的部分，同埋解釋唔到的殘差，最後只用後者作為 trajectory cost。呢種做法同單點預測式 ranker 的分別很直接：同樣見到偏差，UA-NWM 會先問偏差是否屬於合理未來變化，而唔係一概當成走錯路。

模型本身會預測未來的 DINO latent features，配合 deterministic future feature map 同 uncertainty subspace 做單次 forward scoring，避免靠隨機抽樣多個未來狀態先完成比較。同一個 checkpoint 可配合兩種 inference strategy，包括 uncertainty-aware 的 UA-NWM 與 deterministic baseline，適合研究團隊直接比較兩種評分邏輯帶來的差異。

適合 UAV 導航、戶外機械人感知，以及要由目標圖片反推行進路線的團隊
重點唔係生成最像的未來畫面，而係判斷目標是否仍在合理未來分佈內
提供 AirGoal-10k 的 training、evaluation、trajectory ranking、CEM/MPC planning 與 visualization workflow
deploy/ 內有真實部署用的 server-side policy wrapper，但原始資料未完整交代整套部署步驟

它已對應 AirGoal-10k，並包含真機 UAV demo、資料集連結與 pretrained checkpoints；受益最大的是需要處理大範圍戶外場景、多解未來觀測，以及想把 world model 直接接到規劃器如 CEM/MPC 的團隊。

項目主頁 · GitHub · 模型

Categories: 開源, Image, 模型訓練, 世界模型, 百度, Dataset 數據集, 清華大學

WorldTrace 令世界模型影片記住更遠場景

2026 年 8 月 10 日

影片世界要模型生成得夠長，往往先開始失憶。WorldTrace 針對呢個斷層，想保住長時段生成同遠距場景回想能力。

做長時間影片生成時，Video World Models 最易出現的問題唔係畫面唔夠靚，而是走出訓練長度之後開始「唔認得之前見過乜」。WorldTrace 針對的正是呢種視覺記憶失效：它屬於 Video World Models 的記憶機制改良方法，重點是令 Key-Value (KV) cache 裡已壓縮的內容，過了原本訓練範圍之後仍然可以被模型重新定位和讀取。

核心思路不是再訓練一個新生成器，而是用 training-free 方式處理記憶可尋址性。研究指出，問題關鍵在 temporal Rotary Positional Embeddings (RoPE) 偏移超出訓練 horizon 後，注意力機制即使保留了舊畫面資訊，都未必再讀得到；再加上在 RoPE 旋轉空間直接平均 key，會令不同 phase 互相抵消，令記憶內容變得模糊。WorldTrace 透過固定、仍屬 in-distribution 的 slot 位置保存壓縮記憶，避免記憶「存在但搵唔返」。

同一套記憶框架下，它分成兩個方向：WorldTrace-Field 用 rotation-invariant 的歷史聚合方式，支援較連貫的長 rollout；WorldTrace-Landmark 則保留較接近原樣的 scene traces，讓模型隔了更長時間後，仍有機會回想曾經到過的場景。這種分工反映出一個很實際的取捨：有些情境重視連續生成的穩定性，有些則更需要精準回憶特定地點或視覺片段。

針對訓練 horizon 以外的記憶失效，而不是單純提升畫質
保持壓縮後的 KV memory 可尋址，重點在 fixed in-distribution slot positions
WorldTrace-Field 偏重長序列生成的一致性
WorldTrace-Landmark 偏重遠距離場景召回與保留視覺痕跡
原始資料將它描述為 training-free，未見提供安裝、下載或部署流程

這類方法較適合需要長時間互動、持續追蹤場景變化，或者要求模型記得自己曾經去過哪裡的工作流，例如互動式模擬、可探索影片環境與長時段世界狀態建模。現有資料亦提到它獲 ICML 2026 F2S Workshop Best Paper。

項目主頁 · 項目

Categories: NVIDIA, Video, Embedding, 模型訓練, 世界模型, Dataset 數據集, 框架

WorldTrace 令影片世界模型記住更遠場景

2026 年 8 月 10 日

影片世界要模型生成得夠長，往往先開始失憶。WorldTrace 針對呢個斷層，想保住長時段生成同遠距場景回想能力。

針對訓練 horizon 以外的記憶失效，而不是單純提升畫質
保持壓縮後的 KV memory 可尋址，重點在 fixed in-distribution slot positions
WorldTrace-Field 偏重長序列生成的一致性
WorldTrace-Landmark 偏重遠距離場景召回與保留視覺痕跡
原始資料將它描述為 training-free，未見提供安裝、下載或部署流程

這類方法較適合需要長時間互動、持續追蹤場景變化，或者要求模型記得自己曾經去過哪裡的工作流，例如互動式模擬、可探索影片環境與長時段世界狀態建模。現有資料亦提到它獲 ICML 2026 F2S Workshop Best Paper，但公開內容目前集中在方法動機與設計，效能細節在這份摘要材料中仍然有限，閱讀時應留意完整論文是否提供更完整的量化結果與測試設定。

項目主頁 · 項目

Categories: NVIDIA, Video, Embedding, 模型訓練, 世界模型, Dataset 數據集, 框架

HelloWorld：按一下 F，讓影片世界角色回望你

2026 年 8 月 6 日

HelloWorld 讓影片世界模型中的角色回應鏡頭，並以時間控制維持場景與鏡頭運動的連貫性。

按一下 F，畫面角色可以轉身望向鏡頭、揮手、點頭或作簡短問候，同時維持場景細節和鏡頭軌跡。HelloWorld 屬於 video world model，處理的是虛擬角色如何對使用者作出具時間位置的社交回應，而不只是生成一段靜態互動片段。

它以 self-distillation training 微調基礎影片生成模型，使用模型自行合成、同時包含社交互動和 camera motion 的資料，讓模型學會 camera-pose conditioning，並減少互動品質下降的取捨。推理階段加入 training-free temporal control，透過 temporal cross-attention mask 將角色回應限制在 F 按鍵觸發的時間窗口內。

目前 Code & Benchmark 標示為 Coming soon，因此讀者暫時較適合先觀看 Demo Video 和論文，了解互動效果及方法；現有資料未提供安裝流程、硬件要求或可直接部署的版本。這亦意味著它更接近研究原型，尚未能按一般開源工具的方式即時整合到自己的工作流。

HelloWorldBench 包含 400 個樣本，除了三項傳統指標，亦加入 ActAcc、TimeAcc 和 GazeDev，分別聚焦動作準確度、時間準確度及視線偏差。較適合研究影片世界模型、遊戲角色互動或虛擬場景控制的團隊；對需要現成產品方案的人，程式碼尚未公開仍是主要限制。

單一 F 按鍵觸發角色面向鏡頭回應
self-distillation 同時保留互動品質和鏡頭運動
temporal cross-attention mask 不需重新訓練即可控制回應時段
HelloWorldBench 以 400 個樣本量度社交互動
程式碼與基準測試仍未提供，部署可行性有待確認

GitHub · Paper

Categories: 開源, Video, 模型訓練, 世界模型, Dataset 數據集

awesome-agentic-world-model：由 World Model 走向可互動的 Agent-Centric World Proxy

2026 年 8 月 5 日

這份開源索引把世界建模重新連接到代理人的規劃、學習與驗證流程，亦清楚標出目前仍未解決的取捨。

Repository image for worldbench/awesome-agentic-world-model

需要持續試錯的 AI agent，未必每次都要真的操作環境；有時預測未來狀態、渲染視角、模擬執行結果，甚至取回技能或驗證計劃，已足以支援下一步決策。這個項目屬於開源研究索引與分類框架，實際處理的是如何整理 Agentic world modeling 相關工作，讓讀者按代理人需要的資訊尋找合適方法。

它不會像可直接下載的模型或部署服務般產生結果，價值在於把傳統被動預測下一個物理狀態的 World Model，延伸為面向代理人的 Agent-Centric World Proxy。相比只回答「下一刻會發生甚麼」，World Proxy 也可以回答「這個計劃能否執行」、「應取回哪段經驗」或「下一步應觀察甚麼」，但不同研究的成熟度和驗證方式仍然不一致。

分類採用兩條軸線：六種 Proxy functions 包括 Dynamics、Spatial、Execution、Memory / Experience、Skill 及 Reward / Verification；三個 empowerment levels 則分為 L1 inference-time guidance、L2 training-time optimization，以及 L3 Agent-Proxy co-evolution。這個關係有助分辨模型是在決策時提供提示、訓練時改善能力，還是與 agent 一同持續演化。

用途：按功能及能力層級尋找研究工作
內容：整理模型、論文、arXiv ID、發表場合與年份
維護：接受新增項目、分類修正及連結更正
限制：本身沒有推理 API、安裝流程或統一性能基準

它適合研究人員、建立 agent pipeline 的工程團隊，以及需要比較 Dynamics、Memory 或 Verification 方法的人；但若目標是立即部署系統，仍須自行選擇並安裝清單內的個別模型或工具。

項目目前更像一張持續更新的研究地圖，而非完成度一致的 benchmark。它的優點是提供共同語言，將 world modeling 從單一狀態預測重新放回規劃、學習和互動成本的脈絡；限制則是清單依賴社群維護，分類邊界仍會隨 Agentic world modeling 發展而變動。

項目主頁 · GitHub

Categories: 開源, Agentic, API, 模型訓練, 世界模型, Dataset 數據集, Skill 技能

Page 1 of 7

1 2 3 … 7 Next »