NAVA-WAM 讓機械人從影片學會直接行動

2026 年 10 月 6 日 Share to X Facebook Copy link

NAVA-WAM 從無動作標註影片學習機械人策略，減少視覺表徵與潛在動作之間的轉換限制。

機械人只看過人類操作影片，未必需要先建立中間視覺表徵或獨立的潛在動作模型，便能學習下一步應怎樣移動。NAVA-WAM（Native Action-Prior Learning from Videos for World Action Models）是一個 World Action Models（WAM）項目，直接從 observation-only videos 預訓練 action policy，處理動作標註機械人軌跡不足的問題。

訓練分為兩個階段：第一階段利用影片中的未來視覺變化作 flow-matching supervision，透過 transition-structured joint attention 將與動作相關的資訊傳入 Action-DiT；第二階段再加入動作資料，讓策略對應到機械人控制。這種做法避開先學視覺、再轉換成控制訊號時可能出現的落差。

實驗把經 DROID 訓練的策略直接放到實體 Franka FR3，沒有針對個別任務再微調。在三項任務共 15 次測試中，NAVA-WAM 平均成功率為 93.3%，DreamZero 為 66.7%，π0.5 為 53.3%；伺服器端每次 policy call 為 379.2 毫秒，按每次重新規劃實際執行的動作數計算，每個動作約 15.8 毫秒。

• 從 observation-only videos 直接學習 action policy
• 不依賴中間視覺表徵或獨立 latent-action model
• 在空間關係任務中，NAVA-WAM 成功 4/5 次，兩個基線均為 0/5
• 已在實體 Franka FR3 上測試，未作任務專屬微調

T1 要求把方塊放到碗的左側，基線模型雖能正確定位和抓取方塊，卻未能理解指令中的空間關係；NAVA-WAM 則較能將視覺互動經驗連接到具體控制行動。項目的限制是訓練仍需要第二階段的動作資料，並非完全脫離機械人示範，因此更適合用作擴充動作先驗，而不是取代所有實體機械人資料。

項目主頁

Categories: AI productions, 模型, 模型訓練, Video, World-Action Model, Robotic, Meta

---

MotorMind-Code：通用視覺語言模型零樣本操控機械人

2026 年 10 月 6 日 Share to X Facebook Copy link

MotorMind 讓通用視覺語言模型透過中階動作控制機械人，並用即時回饋檢查進度、修正失誤。它在模擬環境和真實機械人上測試，毋須針對任務訓練策略。

要令機械人按指示完成操作，模型不只要看懂畫面，還要判斷下一步、確認動作有否奏效。MotorMind 是一個機械人操控研究項目，讓凍結的通用視覺語言模型（Vision-Language Model，VLM）提出中階動作，再由執行框架把決策交給機械人，並以量度到的回饋檢查結果；過程不需針對特定任務訓練策略。

模型不會一次過決定整個操作流程。MotorMind 會並行監察機械人執行情況，確認子目標是否完成；若觀察到的結果不符預期，便可修正動作、恢復執行或重新規劃。這種做法把 VLM 的推理與機械人控制接起來，但不依賴專用動作專家、技能 API 或動作規劃工具。

項目在 LIBERO-PRO 模擬環境及 xArm6 真實機械人上測試，亦以 240 條視覺問題評估模型選擇動作、判斷進度和確認子目標完成的能力。評估結果指出，動作選擇是各模型較難處理的部分；因此，即使加入持續監察與結果核實，也不能視為每次都能正確控制機械人。

現時 GitHub 儲存庫尚未提供程式碼或執行指引，項目預告會在 10 月 15 日前發布程式碼。目前可先參考研究介紹及其模擬、真機測試結果，待程式碼和設定方法公開後，才適合自行重現或接駁機械人。

• 不需為特定操作訓練專用策略，改以通用 VLM 提出中階動作。
• 執行期間持續核對觀察結果，支援修正、恢復及重新規劃。
• 測試涵蓋 LIBERO-PRO 模擬環境與 xArm6 真實機械人。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, API, Robotic, 框架, 工具, 庫, Skill 技能

---

tactile：讓電子皮膚學懂接觸位置的拓撲感知模型

2026 年 9 月 28 日 Share to X Facebook Copy link

Tactile-JEPA 把分散式觸覺感測器的連接關係納入預訓練，令同一套表徵可支援力量、姿態及動作判斷。

電子皮膚面對的難題，不只是讀取感測數值，而是要理解哪些 taxel 彼此相鄰、接觸訊號如何在感測表面分布。Tactile-JEPA 屬於觸覺表徵學習模型，透過感測器拓撲預測被遮蔽的 taxel embedding，將原本分散的時間序列轉成可供下游任務重用的表示。

它沒有把感測面硬套成規則影像網格，而是沿着 sensor connectivity graph 抽取局部及全局遮罩；預設組合包含兩個 local masks 和兩個 global masks，兼顧局部接觸細節與整個表面的狀態。模型由 context encoder、exponential-moving-average (EMA) target encoder 和 predictor 組成，predictor 預測隱藏 embedding，再以 mean squared error 對齊 target encoder 輸出；預訓練完成後，凍結的 target encoder 可配合 task-specific heads 使用，而下游編碼不再需要圖結構。

項目涵蓋 Xela magnetic hand skins、piezoresistive tactile socks，以及雙手 DECO-50 等不同感測器形態，支援 force estimation、in-hand 及 full-body pose estimation、object/action classification 和 visuo-tactile policy learning。首頁報告指，模型相對各任務最強基線，in-hand orientation error 減少 20.8%，force estimation error 減少 6.3%，但預訓練模型及論文連結仍標示為 TBD，結果重現程度要視乎後續資源是否補齊。

測試需要 Linux、Conda 及具 CUDA-compatible driver 的 NVIDIA GPU，並由儲存庫建立環境、以 editable package 方式安裝。三個資料集合共涉及數百個 taxels，下載及整理成本不低，較適合研究觸覺感知、機械人操作或 visuo-tactile learning 的團隊；只需要單一感測器分類器的工作，未必能抵銷圖結構整理及 GPU 預訓練成本。

• 以拓撲遮罩取代影像式規則遮罩，貼近不規則電子皮膚的實際排列。
• Local 與 global targets 同時捕捉接觸細節及整體感測狀態。
• 預訓練 encoder 可服務力量、姿態、物件及動作等多種下游任務。
• 圖結構只參與預訓練，之後的編碼流程較容易接入不同任務。

項目主頁 · GitHub · 模型

Categories: 開源, Embedding, 模型, 模型訓練, Robotic, 庫, Dataset 數據集

---

morphometric：人手示範跨越機械手形態，直接訓練視覺操控策略

2026 年 9 月 28 日 Share to X Facebook Copy link

同一段人手操作示範，能否教會不同機械手抓握物件？Morphometric Imitation 嘗試保留接觸動作，再把示範轉成可在真實機械手執行的策略。

讓不同機械手學習同一段人手抓握示範，難處不只是手指形狀不同，還要確保動作符合物理條件。Morphometric Imitation 是一套三階段機械人模仿學習框架，把重建的人手與物件互動（hand-object interactions，HOIs）轉成視覺運動控制策略，目標是毋須在真實環境再訓練便能執行。

框架先以形態優化（morphometric optimization，MMO）調整人手動作，盡量保留手指與物件的接觸位置；再用殘差強化學習（residual reinforcement learning，RL），結合示範中的物件姿態及接觸資訊，修正機械手未必做得到的動作。最後，系統把修正後的示範轉成依靠視覺輸入操作的策略，而非直接照搬人手軌跡。

Morphometric Imitation

在三款機械手、十種互動的測試中，MMO 的接觸 F1 分數在每款手上，都比五種比較方法中表現最好的一種至少高 8 個百分點；後續動態動作轉換的成功率最多提高 35 個百分點。不過，這些結果不能直接推算到其他機械手或未測試的物件。

• 適合研究如何把人手示範轉移至多指機械手的團隊。
• 核心取捨是增加動作修正步驟，換取可執行性及接觸保真度。
• 物件姿態與接觸資訊各自有助於殘差 RL；消融測試顯示兩者作用互補。
• 儲存庫目前表示程式碼稍後公開，未提供安裝或重現測試步驟。

項目網站提供影片和研究資料，可先用來了解示範涵蓋的物件與機械手動作。程式碼尚未釋出，現時無法按儲存庫自行部署或核對訓練流程。

項目主頁 · GitHub

Categories: 開源, 模型訓練, Robotic, 框架, 庫, 深度學習

---

Spatial-Interactor 讓視覺模型學懂行動後的空間變化

2026 年 9 月 24 日 Share to X Facebook Copy link

Spatial-Interactor 把空間推理由靜態辨識推向連續互動，處理物件、視角與長距離軌跡的變化。

當畫面中的物件被打開、移動，或者代理人在場景中轉身前進，答案不再只是辨認位置，而是要推斷每一步行動帶來的改變。Spatial-Interactor 屬於視覺語言模型的訓練項目，針對模型難以理解狀態轉移及連續空間軌跡的問題，從可觀察的物理互動記錄建立訓練訊號。

項目把能力分成三層：L1 處理視點大致固定時的物件與世界狀態變化；L2 推理代理人移動造成的自身視角變化；L3 將連續的局部轉移整合成完整、長距離的互動軌跡。LSI-108K 以互動記錄、幾何軌跡、狀態及姿態資料產生可驗證的問答目標，令訓練內容不只停留在單張影像的空間關係。

訓練先以 supervised fine-tuning (SFT) 學習 L1 及 L2 的局部轉移，再利用 On-Policy Distillation (OPD) 整合長軌跡中的連續證據。推理時模型只接收原始視覺輸入與問題，毋須依賴額外提供的中間狀態；這有助於測試模型能否自行重建互動過程，但也代表長距離推理仍會受視覺理解及累積誤差影響。

項目涵蓋四個 vision-language models，並以狀態轉移診斷、打亂影格後的時間敏感度，以及局部與長軌跡推理結果作分析。較適合研究視覺代理人、機械人感知、具身 AI 及需要理解動作後果的場景；GitHub 資訊提供程式碼、模型與資料的連結，但未交代完整安裝及測試流程，不能單憑頁面內容判定下載後即可直接運行。

• L1 分析外界物件及場景的狀態轉變
• L2 把 ego-motion 對觀察結果的影響納入推理
• L3 將多個局部轉移串連成完整軌跡
• SFT 負責局部學習，OPD 負責長距離整合
• 模型只需原始視覺輸入與問題作推理

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 模型訓練, Image, Robotic

---

InternW0 讓機械人邊預測未來邊靈活操控

2026 年 9 月 24 日 Share to X Facebook Copy link

面對接觸、受力和環境變化，InternW0把未來視覺預測與連續動作控制結合，提升機械人完成操作任務的穩定性。

機械人處理實驗室器具、液體轉移或其他需要接觸感知的工作時，往往要同時理解下一刻會見到甚麼，以及當下應該施加甚麼動作。InternW0屬於 Physical World Model，透過非對稱 video–action 架構，把未來視覺預測與連續控制放進同一套流程。

它採用 mixture-of-transformers backbone，由高容量 video expert 預測較長時間範圍的視覺變化，再由較輕量的 action expert 根據最新觀察調整動作。Observation-conditioned context routing 會隨視覺和物理回饋更新上下文；force 與 tactile channels 則在 contact-aware post-training 中加入，協助處理接觸場景。

訓練部分以 joint video–action flow matching 學習未來動態與控制策略，Wan VAE 負責影片編碼，DINOv3 encoder 提供當前視覺觀察。七個數據集合共提供 7,233.5 小時資料，涵蓋真實機械人軌跡、模擬操作，以及 EgoLab 的實驗室第一身影片。

• LIBERO 四個任務套件平均成功率達 98.6%
• RoboTwin 2.0-Full 平均成功率為 93.12%
• Clean2Random 平均成功率為 75.60%
• RTX 5090D 上每次動作更新需時 60.73 毫秒，模型端策略更新率為 16.47 Hz

InternW0較適合需要長程預測、即時反應和接觸控制的機械人研究與實驗室工作流。資料未有提供完整安裝或下載使用流程，讀者應按官方提供的 Paper、GitHub、Hugging Face 或 ModelScope 資源確認可用版本與存取方式。

項目主頁

Categories: 開源, 上海人工智慧實驗室, 模型, 世界模型, 模型訓練, Video, Robotic, Dataset 數據集

---

Grounded-Action-Model：讓機械人先理解物件位置，再決定如何動作

2026 年 9 月 22 日 Share to X Facebook Copy link

Grounded Action Model 把語言、點和框選提示轉成同一套 3D 物件表示，提升機械臂面對場景變化時的穩定性。

面對物件被移位、場景重新排列，機械臂未必只需要更長的指令，而是要準確知道目標在哪裏。Grounded Action Model（GAM）屬於機械人基礎模型，透過 3D grounding 將語言、2D 點或 2D 框選轉成同一套以物件為中心的觀察，再預測連續動作。

GAM 使用凍結的 promptable 3D detector，提取目標物件的視覺特徵和 metric geometry，並與機械人狀態歷史交給 multi-stream transformer，輸出 action chunks。相較於由 Vision-Language-Action Models（VLAs）或 World-Action Models（WAMs）從示範中隱性學習位置關係，GAM 把 3D 位置直接放進控制流程，也可由高層 planner 透過不同提示方式控制，支援較長流程和需要記憶的操作。

目前可參考的結果包括：
– RoboTwin 2.0 的 50 項任務平均成功率為 55.3%，場景隨機化時為 47.6%。
– LIBERO-PRO 的 16 種擾動設定平均成功率為 61%，目標重新放置時改善較明顯。
– 雙臂 YAM 面對視覺變化仍成功 17/20 次；Franka 配合 Molmo2 planner，長流程任務的 OOD step completion 為 49.8%。

Grounded-Action-Model 適合研究機械人操作、視覺變化和高低層控制協作的團隊，但目前 GitHub 仍只有論文與項目頁面，training and inference code、pretrained checkpoints 及 real-robot setup 尚待公開，因此暫時不能按儲存庫直接安裝或重現結果。數據主要來自指定基準和兩款機械人，能否延伸到其他硬件與未見過的操作，仍要等待程式碼及更多測試。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, 微軟, VLA, World-Action Model, Robotic, 3D, 庫

---

GPT-Policy 把 VLM 變現場教練

2026 年 9 月 18 日 Share to X Facebook Copy link

GPT-Policy 讓固定的視覺語言模型在現場讀懂示範影片、目標圖與互動回饋，直接輸出可執行的機械臂動作，省去微調與重訓成本。

機械臂要適應新任務，傳統做法往往是收集大量數據再微調模型，成本高且迭代慢。GPT-Policy 走另一條路：保留一個固定的視覺語言模型（VLM）作為決策核心，現場把任務指令、示範影片、目標圖像、過往觀察與執行回饋打包成單一輸入，讓模型一次輸出一個結構化動作請求，再交給專屬的硬件適配器（adapter）驗證並執行。

的關鍵在於「context compiler」與「constrained controller」的分工。前者負責保留示範中與任務相關的視覺轉折，後者則檢查動作是否安全、可執行，並回報結果給 VLM 進入下一輪決策，整個過程沒有梯度更新，也不需要為新任務調整參數。對於 ARX X5 與 I2RT/YAM 兩款機械臂平台，項目已提供對應的適配器，支援笛卡兒目標、waypoint 序列、順序 IK 檢查、夾爪控制，以及 append-only 的運行記錄，方便日後追溯。

從結果來看，團隊在真實機械臂試驗中發現，即使只有人類影片而無機械臂動作標記，GPT-Policy 仍能改善任務完成率；若加上對齊的動作參考，表現會進一步提升，尤其在接觸敏感的任務上更明顯。對比同類做法，GPT-Policy 沒有走端到端策略網絡的路線，而是把通用 VLM 的推理能力當作即插即用的策略模組，取捨是更依賴適配器與閉環回饋的工程品質。

適合使用的場景包括：研究 VLM 與機器人結合的團隊、需要快速讓機械臂適應新任務示範的實驗室，以及想評估「不重訓」路線可行性的工程團隊。目前的限制在於硬件覆蓋仍集中在兩款臂，且效能高度取決於上下文編譯器能否保留關鍵視覺資訊。

重點摘要：

• 固定 VLM 即決策核心：不微調、不重訓，靠現場上下文即時生成動作
• context compiler + controller 雙層架構：前者保留任務相關視覺轉折，後者驗證並執行
• 支援 ARX X5 與 I2RT/YAM：提供笛卡兒目標、IK 檢查、夾爪控制等適配器
• 人類影片已能改善任務成功率：對齊動作參考後表現更穩，尤其接觸敏感任務
• 定位為研究框架：適合探索通用模型在實體機器人上的即時學習能力

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 視覺模型, 多模態模型, Video, Image, 影像處理, Robotic, 框架, 安全

---

ActionPiece：設計動作分詞器，幫機械人學得更穩

2026 年 9 月 18 日 Share to X Facebook Copy link

可以把 ActionPiece 理解為一個專給視覺語言動作模型用的動作編碼器，特別針對自回歸生成時動作細節流失的問題，強調保留物理距離的先後關係。

當自回歸視覺語言動作模型（VLA）把機械人動作切成離散 token 再一個個吐出來，最大的隱性成本往往不是單一動作的誤差，而是相鄰動作之間的物理距離被打亂。ActionPiece 正是針對這個卡位設計：它把動作切成一塊八步的短序列，每塊壓成 16 個離散 token，並要求 tokenizer 不只重建動作，還要保留「物理排序一致性」（physical rank consistency, PRC）。換句話，兩個本來很接近的動作，編碼後的距離也要維持接近；兩個本來很遠的動作，編碼後也要維持較遠。這種監督讓 token 表徵本身帶有物理結構，而不是純粹的重建損失。

在 Libero、Libero-Plus、SimplerEnv 與 VLA-Arena 四組基準上，ActionPiece 配合 Qwen3-VL-4B 作為策略骨幹，跑出 94.8%、68.8%、71.9%，以及 VLA-Arena L0 至 L2 平均 51.5% 的成功率。Libero-Plus 的訓練刻意排除其示範數據，因此這項成績更能反映遷移表現，而不是單純記住示範。從結果可以看到，重建保真度與 PRC 之間並非完全等價：有些 tokenizer 重建得很好，但鄰近關係一塌糊塗，部署成功率也跟著掉。ActionPiece 把「物理排序保留」與「碼字分配的量化正則化」綁在一起訓練，正好同時壓住這兩個問題。

這個項目的實際意義，是給正在做 VLA 研究的團隊一個可直接替換的動作 tokenizer，無需重寫策略架構。對關注 SimplerEnv 真實遙操作或 VLA-Arena 跨平台泛化的工程師來說，這類保留物理關係的分詞方式，會比純重建式 tokenizer 更貼近控制任務的需求。PhysBrain 1.5 也採用了 ActionPiece 作為動作 tokenizer，顯示它已不只在論文層面，而是走進實際模型發佈。

要真正評估它，比較合理的做法是把它接進自己的 VLA 流程，比對換 tokenizer 前後的策略成功率與 PRC；單看 Libero 94.8% 容易被低估，因為重建誤差小的 tokenizer 不一定保留鄰近結構。原始程式碼與 PhysBrain 1.5 的權重將在官方頁面釋出，想搶先試的人可以先讀論文並鎖定後續更新。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, VLA, Robotic, Dataset 數據集

---

HarnessVLN：不訓練也能走的統一導航框架

2026 年 9 月 16 日 Share to X Facebook Copy link

HarnessVLN 把視覺、語言、空間證據交給一套 Agent Harness 統籌，用零訓練方式處理多任務導航，並以層化記憶與時空圖解決長程失敗。

Embodied Navigation 過去依賴大規模訓練與任務專用流程，但不同場景的 pipeline 各自為政，難以共享空間證據與錯誤紀錄。HarnessVLN 把這個痛點攤開：現有 training-free 方法雖然借助多模態大語言模型，卻缺乏把「提案」與「空間證據、任務進度、執行失敗」對齊的機制，於是同一個 agent 在長時序任務中容易重複犯錯、難以回收。

作為一個訓練無需更新的 agent harness，HarnessVLN 用統一工具介面串接感知、檢索、定位、導航、恢復與終止，並透過層化事件記憶與持久化時空圖（Spatiotemporal Graph）保留可重用的空間證據與失敗標註，讓跨子目標的經驗真正沉澱。提案不再直接落地，而是先被 Agent Harness 結合幾何可行性與過往失敗做驗證，再分派給工具執行。

在 R2R、RxR、HM3D-v2、HM3D-OVON 等基準上，HarnessVLN 報出 60.8、53.9、76.0、59.3 的 SR%，覆蓋 instruction navigation 與 online exploration 兩種形態，並提供真機 demo 與模擬環境。對機器人團隊、具身 AI 研究者與需要快速驗證導航策略的工程師來說，它提供一個不必從零訓練就能橫向比較的底層框架。

重點摘要

• 訓練無需更新：以 Agent Harness 統一感知、檢索、定位、導航、恢復與終止工具
• 層化事件記憶 + 時空圖：把子目標進度與空間證據沉澱為可重用資產
• 提案先驗證再執行：用幾何可行性與失敗紀錄把 LLM 操作提案過濾一次
• 覆蓋 R2R、RxR、HM3D-v2、HM3D-OVON 等多項導航基準
• 同時提供模擬與真機 demo，適合做跨任務導航策略的快速評測

對在意長時序導航穩定性、想避開昂貴 fine-tuning 的團隊，這套來自南京大學、清華大學與 AGIBOT 合作的方案，給出一條「不訓練也能走得更穩」的工程化路線。

項目主頁 · GitHub · Paper

Categories: 開源, 南京大學, 清華大學, Agentic, 多模態模型, 模型訓練, Robotic, 框架, 工具, Dataset 數據集

---