WLA（World-Language-Action Model）由上海交通大學 DENG 實驗室推出，定位為一個統一世界建模、語言推理與動作合成的官方實現項目。簡單來說，研究團隊嘗試讓同一個 AI 系統同時處理「理解世界」、「理解語言」以及「產生動作」三種任務，而不再需要三個獨立模型分工合作。這對於機器人、遊戲 AI 以及需要即時決策的互動系統來說，是一條值得關注的技術路徑。

目前這個項目仍處於預告階段，程式碼與模型權重計劃在 6 月 18 日之前開源釋出，官方提供了展示影片展示其運作效果。在動手實作方面，潛在使用者短期內只能先關注儲存庫的更新，等待權重釋出後再評估本地部署或 API 整合的可能性，項目本身亦未透露具體支援的模型清單。

這個項目的創新方向，是把感知層、認知層與執行層的概念放在同一個訓練框架下學習，減少傳統流水線中模組之間的介面損耗。對於機器人研究團隊、強化學習開發者，以及探索通用代理人（General-purpose Agent）架構的工程師而言，WLA 提供了一個可參考的新設計樣板。效能數據與基準測試結果，則有待官方釋出後再做比較。

以下整理幾個重點供參考：

• 統一框架：把世界模型、語言模型與動作模型合而為一，降低多模態系統的整合成本。
• 學術背景：來自上海交大 DENG 實驗室，屬於官方實作項目。
• 適用場景：機器人控制、互動式代理人、強化學習等需要即時決策的應用。
• 目前狀態：程式碼與權重即將於 6 月中前公開，尚未有完整基準評估。
• 使用建議：在權重釋出前，讀者可先研究展示影片與後續論文，掌握其訓練思路再決定是否整合。

若你正在尋找一個把感知與行動串起來的新框架，WLA 值得加入觀察清單。

GitHub： https://github.com/SJTU-DENG-Lab/WLA

PhysBrain-VLA 係一個面向機械人控制的研究專案，但它最值得留意的地方，其實係訓練思路改變咗。以往不少系統主要靠機械人示範資料學動作，成本高之餘，遇到新場景亦未必識變通；而呢個專案就主張先由大量人類第一身影片抽取「物理常識」，再轉化畀模型學習。

對一般讀者嚟講，可以將它理解為：與其死記「點樣拎起杯」，不如先明白杯喺枱上、手要接近、物件有前後高低關係，甚至某些動作做唔做到。根據公開資料，團隊處理咗超過 3,000 小時人類影片，並整理成包含空間關係、動作可行性同推理線索的多模態訓練資料。

如果你想上手理解這個專案，較實際的方法唔係直接當成即裝即用工具，而係先由它的整體架構入手：先看資料引擎點樣把影片轉成結構化訊息，再看基礎模型如何吸收這些知識，最後理解 VLA 部分點樣把理解能力轉成機械人動作。對研究員、機械人開發者，或者關心 embodied AI 發展方向的人，呢個閱讀路線會比較清晰。

• 核心價值係減少對昂貴機械人示範數據的依賴
• 主要做法係由人類第一身影片提煉物理與空間常識
• 架構包含 PhysBrain、TwinBrainVLA、LangForce
• 提到的評測包括 ERQA、PhysBench、SimplerEnv-WidowX、LIBERO、RoboCasa

其中較有新意的是 TwinBrainVLA 的雙腦式設計，目標是減輕微調後「學咗新嘢就忘記舊嘢」的問題；LangForce 則把訓練重心由單純模仿行為，轉向較貼近物理推理的學習方式。從論文摘要來看，它在多個理解與控制評測都有強表現，尤其在陌生環境的泛化能力方面值得關注。

整體而言，PhysBrain-VLA 未必係面向普通用家的產品型專案，但作為技術方向，它展示咗一條幾實際的路：先讓模型理解世界，再叫它出手做事。若你想追蹤未來機械人如何由「照做」走向「識判斷」，這個專案相當有參考價值。

Project Page：  https://phys-brain.github.io

網址： https://github.com/Phys-Brain/PhysBrain-VLA

網址： https://arxiv.org/pdf/2605.15298

DexJoCo 是一個以 MuJoCo 為基礎的模擬基準與工具集，重點放在「有目標的靈巧操作」：例如用機械手完成特定任務，而不只是做單一抓取動作。對初學者來說，它的價值在於把模擬環境、示範收集，以及遙控操作相關元件放在同一個專案內，較容易看清整體流程。

如果你想使用，先把它當成任務模擬平台，再了解示範資料如何被記錄。README 提到可輸出 Zarr 格式重播資料與相機影片，這表示它不只用來「睇畫面」，亦方便之後做訓練、重播或比較不同方法表現。

它較有意思的地方，是把遙控操作設計成依賴明確的 UDP 封包協定。換句話說，模擬器本身與外部裝置之間有一定解耦，無論是 Vive tracker、Rokoko，甚至內含的 GeoRT 流程，都較像可替換的輸入橋樑，令擴充與整合更實際。

• 以 MuJoCo 為核心，集中處理靈巧操作任務
• 支援示範收集，並輸出重播資料及影片
• 內建多種遙控相關橋接元件，方便接駁外部追蹤資料
• 可切換互動模式與較適合策略執行的無畫面模式

適合的讀者主要是機械人研究者、學生，或者想測試手部操作任務的人；如果你正研究 imitation learning、policy evaluation，這類資料輸出會特別有用。從專案內容可見的相關組件包括 MuJoCo、Vive bridge、Rokoko、GeoRT，以及用於資料儲存的 Zarr；至於 README 亦提到 policy mode 與離屏渲染設定，反映它同時兼顧互動收集與批次實驗兩種場景。

整體來看，DexJoCo 未必是面向一般用家的即開即用工具，但作為研究型基礎設施，它的定位相當清楚。若你需要一個把任務模擬、遙控輸入和示範記錄串連起來的環境，這個專案值得留意。

網址： https://github.com/brave-eai/dexjoco

VLS（Vision-Language Steering）的具體作用是透過視覺語言模型（VLM）即時導向預訓練機器人策略，解決測試時的分布偏移，讓機器人在新環境中保持高成功率，而無需重新訓練。

VLS 針對預訓練擴散策略在空間變化（如新位置）或任務變化（如新物件）下的失效，提供無梯度、無訓練的適應機制，利用 VLM 生成可微分獎勵函數，注入去噪過程。​
它將任務分解為順序階段（如「抓取」→「放置」），使用 3D 關鍵點獎勵，避免單一失敗導致整體崩潰。

RoVid‑X 號稱是目前最大規模的機器人影片生成開源資料集，約 400 萬 clips，覆蓋 1300+ skills / tasks，解析度達 720p，同時支援多樣機器人形態與多樣文字描述。RoVid‑X 主要解決現有 SOTA video diffusion / transformer 模型，在一般影片生成指標上不錯，但面對需要「因果一致、物理連貫」的機器人操作影片時，常出現物理錯誤、目標物體消失/瞬移、關節極限違反等問題。

RBench 旨在評估面向機器人的視訊生成的表現。它評估任務層面的正確性和視覺保真度。 雖然RBench為識別這些缺陷提供了必要的視角，但要實現物理上的真實性，還需要超越評估層面，解決高品質訓練資料嚴重短缺的問題。基於這些，他們引入了一個改進的四階段數據管道，由此誕生了 RoVid-X——迄今為止最大的開源機器人視頻生成數據集，涵蓋數千個任務，並富含全面的物理屬性標註。這項協同的評估和資料生態系統為視訊模型的嚴格評估和可擴展訓練奠定了堅實的基礎，加速了具身人工智慧向通用智慧的演進。

FrankenMotion 是一個以擴散模型為基礎的文本到人體動作生成框架，專注於對單一動作的各個身體部位進行細緻控制。研究團隊先建立名為「FrankenStein」的大規模運動資料集，這份資料集以大型語言模型自動生成的原子化、具備時間感知的逐部份文字敘述，填補了先前資料集只能提供全局或動作層級標註的不足。透過這些高度結構化的部位標註，模型能夠在訓練時同時學習空間（哪個部位在動）與時間（每個部位的具體時間模式）兩層資訊。

實驗結果顯示，相較於先前的 UniMotion、DART、STMC 等模型，FrankenMotion 在語義正確性與運動真實感上都有顯著提升，甚至能創造出訓練時未曾見過的組合動作，例如在坐下的同時抬起左手。

RoboVIP 解決機器人領域中，真實世界訓練數據不足且難以大量取得的痛點。RoboVIP 是一個機器人數據生成工具，它讓研究者能用更聰明、更可控的方式製造模擬數據，進而訓練出更強大、更不容易出錯的機器人。

RoboVIP 引入了「視覺身份提示 (Visual Identity Prompting)」，你可以直接給 AI 一張「參考圖」（例如一張特定碗的照片），AI 就能精準地在影片中生成或替換成那個碗，讓生成的畫面更真實、更符合需求。

研究證明，用 RoboVIP 處理過的數據去訓練機器人（像是 Pi0 或 Octo 這類模型），不只在模擬環境中表現更好，在真實世界的機器人操作上，成功率也顯著提升，尤其是在處理混亂、複雜的場景時。