World-Action Model

Grounded-Action-Model：讓機械人先理解物件位置，再決定如何動作

2026 年 9 月 22 日

Grounded Action Model 把語言、點和框選提示轉成同一套 3D 物件表示，提升機械臂面對場景變化時的穩定性。

A language instruction, a 2D point or a 2D box is resolved by a pretrained 3D grounding model into image tokens and dete

面對物件被移位、場景重新排列，機械臂未必只需要更長的指令，而是要準確知道目標在哪裏。Grounded Action Model（GAM）屬於機械人基礎模型，透過 3D grounding 將語言、2D 點或 2D 框選轉成同一套以物件為中心的觀察，再預測連續動作。

GAM 使用凍結的 promptable 3D detector，提取目標物件的視覺特徵和 metric geometry，並與機械人狀態歷史交給 multi-stream transformer，輸出 action chunks。相較於由 Vision-Language-Action Models（VLAs）或 World-Action Models（WAMs）從示範中隱性學習位置關係，GAM 把 3D 位置直接放進控制流程，也可由高層 planner 透過不同提示方式控制，支援較長流程和需要記憶的操作。

目前可參考的結果包括：
– RoboTwin 2.0 的 50 項任務平均成功率為 55.3%，場景隨機化時為 47.6%。
– LIBERO-PRO 的 16 種擾動設定平均成功率為 61%，目標重新放置時改善較明顯。
– 雙臂 YAM 面對視覺變化仍成功 17/20 次；Franka 配合 Molmo2 planner，長流程任務的 OOD step completion 為 49.8%。

Grounded-Action-Model 適合研究機械人操作、視覺變化和高低層控制協作的團隊，但目前 GitHub 仍只有論文與項目頁面，training and inference code、pretrained checkpoints 及 real-robot setup 尚待公開，因此暫時不能按儲存庫直接安裝或重現結果。數據主要來自指定基準和兩款機械人，能否延伸到其他硬件與未見過的操作，仍要等待程式碼及更多測試。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, 微軟, VLA, World-Action Model, Robotic, 3D, 庫

PhysStream：邊播邊拉物件，讓 AI 影片生成更貼近物理直覺

2026 年 9 月 16 日

PhysStream 是一個物理導向的影片生成模型，用戶可以在生成過程中隨時拖動物件來改變它的運動方向，做到真正的中途互動控制。

以往想用 AI 生成一段符合物理規律的影片，往往需要在生成前就設定好整個控制排程，而且很多方法只懂在像素層面指定物件位置，未必真正理解「力」與「速度」這類物理量。PhysStream 的切入點正正落在這個空隙：它是一個自回歸的物理導向圖生影片模型，支援中途互動，容許用戶在生成過程中隨時拉動物件，改變它的運動方向。

核心做法分兩個階段。先用一個雙向模型做微調，加入速度增量（velocity increment）這類稀疏信號作控制條件，讓模型學到背後的動力學；再訓練一個因果自回歸模型，引入結構化場景記憶，記錄位置圖與物件追蹤圖，使每一幀生成都能參考歷史畫面的一致狀態。同時解決了「中途介入」與「物理一致性」兩個難題。

PhysStream 把運動分佈距離（FVMD）降低 33%、軌跡誤差降低 12%，而且在真實場景的人類評測中，超過 85% 的對比都獲得偏好。在多物件桌面剛體場景裡，這種邊生成邊控制的能力是目前其他方法做不到的。對做特效、動畫預覽或物理模擬預演的團隊來說，這種「拉到邊做」的互動模式會比較貼近日常工作流。

重點摘要：

中途拖動控制：生成過程中可隨時改變物件運動方向，毋須事先設定控制排程
物理導向信號：採用速度增量而非像素位置，讓模型學習真正的動力學
結構化場景記憶：以位置圖與物件追蹤圖維持長影片一致性
兩階段訓練：先雙向微調學控制條件，再因果自回歸強化物理一致性
評測表現：FVMD 降 33%、軌跡誤差降 12%，人類評測偏好率逾 85%

項目主頁

Categories: AI productions, 視頻模型, 模型訓練, Video, World-Action Model, Robotic, 動畫

MaP-WAM：把記憶變成計劃

2026 年 9 月 12 日

MaP-WAM 將機械臂長任務拆成「記憶 → 計劃 → 行動」三步，先保留稀疏視覺證據，再壓成固定長度的計劃執行，讓 executor 不再因歷史增長而越來越慢。

做過長任務的 robot policy 都知道，當動作序列拉長，模型要嘛靠語言摘要回憶過去，要嘛硬把一堆畫面塞進上下文，結果前者丟失精確視覺證據，後者則隨步數累積越來越慢。MaP-WAM 走的第三條路：把記憶視為「規劃時的證據」，而非「執行時的負擔」。它由哈爾濱工業大學、南洋理工大學及山東大學等團隊共同提出，屬於 VLA 框架與 World-Action Model 思路的延伸。

主流機器人策略通常採用馬可夫公式，但許多複雜的現實世界操縱任務本質上是非馬可夫的，需要超越當前觀察的長視野記憶。MaP-WAM 的核心分三層：每完成一段任務，便把該段的語言指令與少量真實執行幀打包成 episodic memory；之後由視覺語言模型生成下一段的語言計劃，並由因果世界模型補出對應的視覺引導；最後由 World-Action-Progress（WAP）模型在同一上下文內同時輸出動作 chunk 與進度，再以 plan-observation alignment 校正遞迴估計、以 progress-gated transitions 決定何時更新記憶並請求下一段計劃。由於已完成片段的 episodic 證據與當前計劃都可被 cache，executor 的上下文長度保持固定。

在 RMBench 上達到 83.3% 成功率、真機實驗約 78.0%，同時 executor 維持近似常數的 per-chunk 延遲。在三個長任務記憶方案中，這套設計拿來對比的恰是「語言記憶丟視覺證據」與「滑動視窗記憶吃 GPU」這兩個老毛病，並以固定上下文的方式直接拆解效率與覆蓋率的取捨。

適合關注機器人長任務、World-Action Model、VLA 框架的研究團隊與工程團隊參考。模型 checkpoint 標示為 Coming Soon，現階段只能讀 paper 與項目頁理解思路。

重點摘要：

Memory-as-Plans：將長任務記憶拆成「已完成片段的稀疏視覺證據 + 語言計劃」，而非把所有歷史塞回 executor。
WAP 模型：在同一上下文內同時輸出動作 chunk 與任務進度，並透過 plan-observation alignment 校正遞迴估計。
固定上下文執行：已完成片段與當前計劃皆可 cache，executor 上下文長度不再隨歷史增長。
對比清晰：直接挑戰語言記憶丟失視覺證據、滑動視窗吃 GPU 記憶體兩種主流做法。
現況限制：訓練與推理程式碼、模型 checkpoint 均未釋出，目前僅有 paper 與項目頁可參考。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 世界模型, 模型訓練, VLA, World-Action Model, Robotic, 框架

OpenWAM-α 把世界模型與動作模型拆開重組

2026 年 9 月 10 日

來自XPolicyLab等團隊的開源研究棧OpenWAM，把世界–動作模型（World-Action Models）拆解成可替換模組，並以約6,400小時第一人稱與機器人資料訓練出OpenWAM-α，在八個模擬基準與真機實驗均取得頂尖表現。

如果你是做機器人策略或世界模型研究，大概都有過這種經驗：想換一個視覺編碼器、想試不同動作頭的耦合方式，結果整個訓練流程都要重寫，因為生成骨幹、視覺表示、架構、推論步驟和訓練資料全綁在一起。OpenWAM正是針對這種「綁死」的痛點而來。它是一個開源研究棧，把世界–動作模型（World-Action Models，簡稱WAMs）的設計空間拆成可組合模組，並用統一介面串接訓練、推論、部署與評估。

這個項目分成三層。OpenWAM-Infra提供模組化基礎設施，讓研究者可以像堆積木一樣替換模型、表示、訓練與評估設定；OpenWAM-Study則透過控制變量實驗，回答三個核心問題：應該從什麼預訓練骨幹繼承知識、世界學習與動作學習如何耦合、以及兩者如何隨規模擴展。基於這些結論，作者訓練出OpenWAM-α，一個以約6,400小時（5.185億幀）第一人稱人類與機器人資料預訓練的開放模型，並在涵蓋單臂、雙臂到靈巧手的八個模擬基準，以及真機實驗中維持頂尖水準。

架構由Hydra配置檔驅動，預設採用wan22 ti2v 5B作為影片骨幹，並搭配獨立的動作頭（如ActionDiT或共享動作骨幹），視覺編碼器則可在VAE、DINOv3、V-JEPA 2.1之間切換。基準測試覆蓋RoboTwin、LIBERO、LIBERO-plus、RoboCasa365、RoboCasa GR1、VLABench等主流環境，研究者可以直接用提供的評估客戶端跑對比。

定位：開源研究棧，專門解決世界–動作模型設計選擇難以分離比較的問題
核心貢獻：把生成骨幹、動作頭、視覺表示等模組化，並用控制實驗歸納出三條設計原則
預訓練模型：OpenWAM-α基於約6,400小時第一人稱與機器人資料訓練，在八個模擬基準及真機均表現頂尖
適用對象：機器人策略學習、世界模型研究團隊，以及需要可重現基準對比環境的從業者
配套資源：模型已上傳Hugging Face，並提供完整的訓練、推論、部署腳本

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港大學, 模型, 世界模型, 模型訓練, Video, World-Action Model, 庫, Dataset 數據集

SolarWM 開放視頻世界模型全流程基建

2026 年 9 月 3 日

SolarWM 不只公開模型權重，連數據處理、訓練流程和長時推理方法一併開放，目標是降低互動式視頻世界模型的研究門檻。

SolarWM teaser: one framework for diverse interactive worlds

從數秒訓練片段推演出長達數分鐘甚至更長時間的互動視頻，一直是世界模型（World Model）發展中的難題。SolarWM 把焦點放在整個研發鏈條，而不只是單一模型，結合開放數據管線、訓練框架與推理流程，形成一個面向互動式視頻世界模型的完整研究基礎設施。

項目屬於世界模型訓練框架與開放研究基建，處理的問題是如何把不同來源的視頻資料整理成一致格式，並在不同模型骨幹之間建立可擴展的長時推理能力。團隊將來自 14 個資料集、約 143 萬段影片統一整理，讓資料準備與訓練配方可以分離，研究人員毋須重複建立資料處理流程。

與許多只圍繞單一架構設計的方法不同，SolarWM 強調保留原生骨幹能力，同時支援 Wan2.2、LTX-2.5 與 MiniMax-H3 等不同模型家族，涵蓋 5B 至 33B 規模。研究團隊提出三階段訓練流程，包括雙向適應、結合 AnyFlow 的教師強制訓練，以及長時互動推理策略，希望在不依賴超長訓練影片的情況下維持世界演化一致性。

開放釋出資料處理管線、資料集及模型權重
支援多個主流視頻生成骨幹，而非綁定單一架構
利用約五秒片段訓練，目標達成分鐘級甚至小時級推理
涵蓋 143 萬段影片與約 25TB 數據規模
提供可重組資料配方與不同訓練策略組合

適合世界模型研究團隊、互動式模擬系統開發者，以及探索 World-Action Model 與長時視頻生成的學術機構。SolarWM 的價值不只在單次生成效果，而在於把過往難以重現的資料處理和訓練步驟公開，讓不同研究單位更容易比較方法與建立可重複驗證的實驗流程。長時間推理的一致性仍有待更多公開基準驗證，但這套框架已經把世界模型研究由單一模型競賽推向完整基礎設施層面。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, Agentic, 世界模型, 模型訓練, NVIDIA, World-Action Model, 3D, LTX, Dataset 數據集, MiniMax

LightNav-0：一句說話驅動四種機械人零樣本導航

2026 年 9 月 1 日

LightNav-0 是一個通用導航模型，把預訓練視覺語言模型 Qwen3-VL 的空間認知能力對齊到導航任務，無需任務專用頭即可同時處理指令跟隨、開放詞彙物件導航與視覺追蹤，並零樣本遷移到人形、四足、輪式及空中機械人。

LightNav-0 overview: a simulation-based data engine, three-stage model training, zero-shot deployment onto four robot em

你叫一部機械人「去到公園入口嗰張長椅」，佢就要自己搵到、避開障礙、仲要處理自己對眼睇到嘅畫面——LightNav-0 就係針對呢類跨場景、跨形態嘅導航需求。佢屬於模型類項目，核心想解決嘅問題係：傳統導航系統每換一種機械人或場景就要重新訓練或加任務頭，零樣本泛化能力薄弱。LightNav-0 選擇唔加 waypoint predictor、唔加任務專用動作頭，淨係擴展詞表，加入雙通道指向 token 同 RVQ 動作 token，等空間推理同動作編碼都直接由 Qwen3-VL-4B-Instruct 原有嘅自回歸 LM head 解碼。

要做到呢點，訓練數據係關鍵。項目用咗一套 Real2Sim2Real 數據引擎，將 2,000 幾個互聯網收集嘅真實場景轉成可重複使用嘅模擬環境，產生 4,000 幾個鐘嘅視覺語言動作經驗，再分三階段訓練：Embodied Reasoning 中訓練、Embodied SFT、Online RL。呢種做法繞過咗真實遙操作收集速度慢、成本高嘅瓶頸。

同典型做法比，差異在於用模擬合成代理真實經驗，再透過統一 token 介面讓指令跟隨、開放詞彙物件導航、視覺追蹤共享同一模型，部署時直接零樣本落地到四種機械人形態，唔需要逐個微調。結果方面，官方指 LightNav-0 喺十個模擬設定上取得 state-of-the-art，並喺人形、四足、無人機同輪式機械人上完成真實遷移測試。

做機械人通用導航研究嘅團隊、要做具身 AI 落地嘅初創，或者關注 Physical AGI 路線嘅研究者，會最容易從中受惠。對一般開發者嚟講，理解入口係 Hugging Face 上嘅模型權重、論文同項目頁提供嘅模擬評測結果。

重點摘要：

LightNav-0 係以 Qwen3-VL-4B-Instruct 為骨幹嘅通用導航模型，無任務專用預測頭
用統一 token 介面同時覆蓋指令跟隨、開放詞彙物件導航同視覺追蹤
Real2Sim2Real 數據引擎將 2,000+ 真實場景轉化為 4,000+ 小時訓練經驗
三階段訓練流程：Embodied Reasoning 中訓練、Embodied SFT、Online RL
零樣本遷移至人形、四足、輪式及空中機械人，喺十個模擬基準宣稱達到 SOTA

項目主頁 · GitHub

Categories: 開源, 視覺模型, 多模態模型, Qwen, World-Action Model, Robotic, AGI

PhysCaP 讓機械人用互動摸清物件物理特性

2026 年 8 月 26 日

當視覺無法分辨重量或軟硬，PhysCaP會主動安排互動，讓機械人用更少動作完成操作任務。

由國立台灣大學、NVIDIA Research、Google DeepMind 及國立陽明交通大學研究人員組成的團隊，推出 PhysCaP，將物理資訊探索加入 Code-as-Policy 機械人代理。

當機械人只靠相機無法分辨哪罐是空的、哪個牛油果已熟，PhysCaP會主動安排提起、夾取等互動，從動作反應推斷隱藏的重量與硬度。這個 physics-informed Code-as-Policy agents 項目，針對被動視覺不足時的機械人操作問題加入主動感知能力。

PhysCaP以雙代理探索框架配合可執行程式碼。Planner先判斷視覺資訊是否足夠，Prioritizer再按預期 information gain 排序互動，過濾不合理或重複的動作，最後呼叫 PhysX（physical property extraction modules）中的 get_mass 和 get_stiffness。

透過 joint-torque 差異及 end-effector Jacobian 估算物件質量
根據 gripper displacement 和 normalized motor effort 分類硬度
無需額外感測硬件，直接利用 robot proprioception
涵蓋找藍色方塊、辨認空罐和挑選熟牛油果
模擬與真實任務中，部分結果達到 9/10 成功率

測試亦包括 LIBERO Empty Can 模擬環境。研究結果指，這種按資訊價值選擇互動的方式，在多項 benchmark 中較被動方法和直接進行互動的方法取得更高任務成功率，同時減少互動次數及執行時間；不過，推斷質量和硬度仍取決於固定提舉軌跡、重複測量及機械人本身的 proprioception。

項目主頁

Categories: Agentic, 模型訓練, Google, NVIDIA, World-Action Model, Robotic, 框架, Dataset 數據集

NVidia Hydra-0 以人類動作統一機械人訓練

2026 年 8 月 25 日

Hydra-0把機械人動作轉成畫面上的像素流，讓同一個世界模型學習不同機械人形態，並支援模擬、策略評估及真機控制。

機械人面對不同手臂結構、夾具和操作環境時，動作通常以各自的關節或末端執行器座標表示，令資料難以共用。Hydra-0以 Action Flow 將可見的機械人運動表示成影像平面上的像素流，建立跨形態、任務和環境的共同控制介面，屬於面向通用控制的 world model。

Hydra-0在運行時採用 hybrid simulator：physics engine 負責移動機械人，learned video model 則預測動作對場景造成的變化。模型可從 egocentric human demonstrations、handheld UMI grippers、single-arm robots 和 bimanual robot arms 等互動影片學習，減少依賴單一機械人平台資料的限制。

Forward mode會根據 gripper flow 預測未來場景，生成的結果可用於 open-loop policy evaluation；inverse mode則由目標物件的 flow 推導相容的機械人運動，再透過 supervised readout 轉換成可執行動作。把模擬、策略測試和控制放進同一套模型流程。

• 以像素流統一四種不同 embodiment 的互動資料
• 同時支援世界預測、策略評估及機械人控制
• 以 physics engine 和 learned video model 組成 hybrid simulator
• 最佳配置令 robot-motion error 降低90.4%，object-motion error 降低60.2%，比較基準為 action-conditioned baseline

Hydra-0適合需要整合多來源示範影片、先在模擬環境測試策略，再連接真實機械人的研究和開發工作。它仍然依賴動作影片、像素流表示和模型預測的準確度，跨形態轉移能否在更多任務中保持穩定，仍要配合完整數據和真機測試判斷。

項目主頁

Categories: 視覺模型, 世界模型, NVIDIA, Video, Image, World-Action Model, Robotic

τ₀-VLA：為長程機械人任務補上分層推理

2026 年 8 月 22 日

τ₀-VLA 把長程機械人操作拆成高層規劃與低層執行，先想下一步，再落到實際動作。它特別針對多步驟、要記住進度又要回復失誤的場景。

τ₀-VLA 是一個機械人基礎模型，主打長程操作任務，例如清理房間、準備食材和沖奶茶這類要連續完成多個步驟的工作。它先用帶記憶的高層策略決定下一個子任務，必要時再用 world-model-guided test-time computation 比較不同做法，然後交由低層策略執行。

這種分層方式比單次前向推理更適合處理長流程，因為模型不只要做動作，還要跟進已完成進度、預測結果，再決定下一步。對需要機械人跨場景操作的團隊來說，比只處理單一步驟的控制模型更接近真實工作流程。

高層負責規劃子任務，低層負責具體控制
會在需要更多推理時做分支搜尋，不是即時拍板
低層策略結合 Qwen3.5 vision-language backbone 與 Mixture-of-Transformers action expert
訓練資料來自 40,115 小時真實機械人數據，涵蓋多模態協同訓練
目前公開 v1 只支援 joint-control checkpoints，EEF serving 未提供

官方提供 Python 3.11、CUDA 12.8、PyTorch 2.7.1 的參考環境，也有 example_data 同配置的 post-training 例子，可用來接入自己的資料集或機械人設定。文中四個長程任務涵蓋 13 至 25 個步驟，重點不只是在動作準確，還包括進度保持、結果驗證和失誤後恢復。

對做機械人研究、具身智能系統，或要把語言理解和實體控制接起來的團隊，這個項目提供了一個較完整的分層基線；限制也很明確，公開版本先集中在 joint-control，較適合有相應訓練與部署條件的環境。

項目主頁 · GitHub · 模型

Categories: 開源, 多模態模型, 模型訓練, Qwen, NVIDIA, VLA, World-Action Model, Python

ForgeWM 把遊戲世界模型推向 72 FPS 即時互動

2026 年 8 月 21 日

由中大、騰訊等團隊開發的 ForgeWM，將遊戲畫面生成壓縮至一至四步，讓鍵盤、滑鼠及手掣輸入能即時改變虛擬世界。

中香港中文大學、騰訊 PCG、復旦大學、上海人工智慧實驗室及香港科技大學的研究團隊，將 ForgeWM 做成開源的 action-conditioned video world models 訓練項目，處理遊戲輸入與連續畫面生成難以兼顧的問題。它以 Matrix-Game 2（MG2）為基礎，讓模型根據鍵盤、滑鼠或 gamepad 操作即時推演遊戲畫面。

ForgeWM 的價值在於把生成步數降至 1、2 或 4 步，換取更低延遲的互動體驗；取捨是畫面質素、控制準確度與推理速度仍要依賴訓練資料和硬件。相較只展示影片生成的做法，ForgeWM 直接處理 frame-aligned 的動作訊號，並將同一套流程移植到另一個 gamepad 驅動的 FPS 領域。

一套四階段流程：bidirectional SFT、teacher-forced causal AR、consistency distillation、on-policy DMD
ForgeWM-1、ForgeWM-2、ForgeWM-4 分別對應一、二及四步生成
單張 H20、352×640 畫面下，1-step 模型最高達 72 FPS
完整公開 weights、training code 及 pre-encoded data

模型並非各自獨立訓練：Stage 0 先對目標遊戲作 bidirectional fine-tuning，之後固定為教師；Stage 1 將生成器改成 causal AR，Stage 2 壓縮 sampling trajectory，Stage 3 再用學生自行 rollout 的結果進行 on-policy matching。這個結構讓 ForgeWM-1、-2、-4 可從相同基礎流程按步數預算建立。

研究、遊戲 AI 及需要即時互動生成的團隊較容易受益，尤其適合測試鍵鼠控制的 Minecraft 或 gamepad FPS。資料提供的指標包括 168 ms per chunk、72 FPS 及 8×H20 完整訓練配置；模型及數據連結整理環境，要預留 8 張 H20 重現完整訓練流程。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, 上海人工智慧實驗室, 騰訊, 世界模型, 模型訓練, Video, World-Action Model

Page 1 of 2

1 2 Next »