WLA（World-Language-Action Model）由上海交通大學 DENG 實驗室推出，定位為一個統一世界建模、語言推理與動作合成的官方實現項目。簡單來說，研究團隊嘗試讓同一個 AI 系統同時處理「理解世界」、「理解語言」以及「產生動作」三種任務，而不再需要三個獨立模型分工合作。這對於機器人、遊戲 AI 以及需要即時決策的互動系統來說，是一條值得關注的技術路徑。

目前這個項目仍處於預告階段，程式碼與模型權重計劃在 6 月 18 日之前開源釋出，官方提供了展示影片展示其運作效果。在動手實作方面，潛在使用者短期內只能先關注儲存庫的更新，等待權重釋出後再評估本地部署或 API 整合的可能性，項目本身亦未透露具體支援的模型清單。

這個項目的創新方向，是把感知層、認知層與執行層的概念放在同一個訓練框架下學習，減少傳統流水線中模組之間的介面損耗。對於機器人研究團隊、強化學習開發者，以及探索通用代理人（General-purpose Agent）架構的工程師而言，WLA 提供了一個可參考的新設計樣板。效能數據與基準測試結果，則有待官方釋出後再做比較。

以下整理幾個重點供參考：

• 統一框架：把世界模型、語言模型與動作模型合而為一，降低多模態系統的整合成本。
• 學術背景：來自上海交大 DENG 實驗室，屬於官方實作項目。
• 適用場景：機器人控制、互動式代理人、強化學習等需要即時決策的應用。
• 目前狀態：程式碼與權重即將於 6 月中前公開，尚未有完整基準評估。
• 使用建議：在權重釋出前，讀者可先研究展示影片與後續論文，掌握其訓練思路再決定是否整合。

若你正在尋找一個把感知與行動串起來的新框架，WLA 值得加入觀察清單。

GitHub： https://github.com/SJTU-DENG-Lab/WLA

PhysBrain-VLA 係一個面向機械人控制的研究專案，但它最值得留意的地方，其實係訓練思路改變咗。以往不少系統主要靠機械人示範資料學動作，成本高之餘，遇到新場景亦未必識變通；而呢個專案就主張先由大量人類第一身影片抽取「物理常識」，再轉化畀模型學習。

對一般讀者嚟講，可以將它理解為：與其死記「點樣拎起杯」，不如先明白杯喺枱上、手要接近、物件有前後高低關係，甚至某些動作做唔做到。根據公開資料，團隊處理咗超過 3,000 小時人類影片，並整理成包含空間關係、動作可行性同推理線索的多模態訓練資料。

如果你想上手理解這個專案，較實際的方法唔係直接當成即裝即用工具，而係先由它的整體架構入手：先看資料引擎點樣把影片轉成結構化訊息，再看基礎模型如何吸收這些知識，最後理解 VLA 部分點樣把理解能力轉成機械人動作。對研究員、機械人開發者，或者關心 embodied AI 發展方向的人，呢個閱讀路線會比較清晰。

• 核心價值係減少對昂貴機械人示範數據的依賴
• 主要做法係由人類第一身影片提煉物理與空間常識
• 架構包含 PhysBrain、TwinBrainVLA、LangForce
• 提到的評測包括 ERQA、PhysBench、SimplerEnv-WidowX、LIBERO、RoboCasa

其中較有新意的是 TwinBrainVLA 的雙腦式設計，目標是減輕微調後「學咗新嘢就忘記舊嘢」的問題；LangForce 則把訓練重心由單純模仿行為，轉向較貼近物理推理的學習方式。從論文摘要來看，它在多個理解與控制評測都有強表現，尤其在陌生環境的泛化能力方面值得關注。

整體而言，PhysBrain-VLA 未必係面向普通用家的產品型專案，但作為技術方向，它展示咗一條幾實際的路：先讓模型理解世界，再叫它出手做事。若你想追蹤未來機械人如何由「照做」走向「識判斷」，這個專案相當有參考價值。

Project Page：  https://phys-brain.github.io

網址： https://github.com/Phys-Brain/PhysBrain-VLA

網址： https://arxiv.org/pdf/2605.15298

DexJoCo 是一個以 MuJoCo 為基礎的模擬基準與工具集，重點放在「有目標的靈巧操作」：例如用機械手完成特定任務，而不只是做單一抓取動作。對初學者來說，它的價值在於把模擬環境、示範收集，以及遙控操作相關元件放在同一個專案內，較容易看清整體流程。

如果你想使用，先把它當成任務模擬平台，再了解示範資料如何被記錄。README 提到可輸出 Zarr 格式重播資料與相機影片，這表示它不只用來「睇畫面」，亦方便之後做訓練、重播或比較不同方法表現。

它較有意思的地方，是把遙控操作設計成依賴明確的 UDP 封包協定。換句話說，模擬器本身與外部裝置之間有一定解耦，無論是 Vive tracker、Rokoko，甚至內含的 GeoRT 流程，都較像可替換的輸入橋樑，令擴充與整合更實際。

• 以 MuJoCo 為核心，集中處理靈巧操作任務
• 支援示範收集，並輸出重播資料及影片
• 內建多種遙控相關橋接元件，方便接駁外部追蹤資料
• 可切換互動模式與較適合策略執行的無畫面模式

適合的讀者主要是機械人研究者、學生，或者想測試手部操作任務的人；如果你正研究 imitation learning、policy evaluation，這類資料輸出會特別有用。從專案內容可見的相關組件包括 MuJoCo、Vive bridge、Rokoko、GeoRT，以及用於資料儲存的 Zarr；至於 README 亦提到 policy mode 與離屏渲染設定，反映它同時兼顧互動收集與批次實驗兩種場景。

整體來看，DexJoCo 未必是面向一般用家的即開即用工具，但作為研究型基礎設施，它的定位相當清楚。若你需要一個把任務模擬、遙控輸入和示範記錄串連起來的環境，這個專案值得留意。

網址： https://github.com/brave-eai/dexjoco

VLS（Vision-Language Steering）的具體作用是透過視覺語言模型（VLM）即時導向預訓練機器人策略，解決測試時的分布偏移，讓機器人在新環境中保持高成功率，而無需重新訓練。

VLS 針對預訓練擴散策略在空間變化（如新位置）或任務變化（如新物件）下的失效，提供無梯度、無訓練的適應機制，利用 VLM 生成可微分獎勵函數，注入去噪過程。​
它將任務分解為順序階段（如「抓取」→「放置」），使用 3D 關鍵點獎勵，避免單一失敗導致整體崩潰。