LingBot ALOHA:讓動作預測接續執行中的指令

把上一段動作帶入下一次預測,有助安排連續控制;但重疊動作可能重播,接駁機械人仍要處理交接。

Repository image for robbyant-research/Lingbot-ALOHA

讓機械人執行動作期間,同時準備下一段指令,是 LingBot ALOHA 最有辨識度的能力。這套基於 OpenPI、為 Mobile ALOHA 改編的策略訓練與推論程式碼,將 Real-Time Chunking(RTC)的 prefix conditioning 接到 JAX π₀.₅ 模型,並支援合併多個 LeRobot datasets 訓練,適合已有機械人資料和控制系統的研究團隊。

RTC 會把上一段預測中的部分動作,放到下一段預測開頭作為參考,讓模型接着已有計劃往下生成。訓練時,開頭保留不加噪音的動作,後段才加入噪音並計算 flow-matching loss;開頭只提供條件,不計入損失。這把「接續動作」納入訓練過程,但項目文件描述的支援限於 JAX π₀.₅,未證明 PyTorch 路徑具備等效能力。

執行端的 RTCActionChunkBroker 每次回傳一個 action,並在舊動作段仍在執行時,非同步要求新預測。交接未必無縫:切換時會從新動作段的 index 0 開始,沒有跳過已用作條件的 prefix,因此重疊期間執行過的動作可能重播。對需要連續移動或精確協調的任務,團隊應先檢查交接位置的指令序列;文件沒有提供足以量化這個問題影響的測試結果。

多資料集訓練則把資料整理方式直接變成訓練取捨:MultiVLADataset 將影格串成共同索引,再打亂抽樣,沒有獨立的 dataset-weight 參數,也不會自動平衡來源。項目文件的例子中,A 有 10,000 個影格、B 有 30,000 個影格,預期混合比例約為 25% A、75% B。較小資料集即使包含重要任務,也不會因此獲得更多抽樣機會,資料量本身便影響模型接觸各類示範的頻率。

能夠串接資料,不代表能直接混用不同機械人的紀錄。各資料集的 feature dimensions、camera conventions、action ordering、units 和 task meanings 必須一致,否則相同欄位可能代表不同動作或觀察,串接流程不會替團隊調和差異。這令它較適合同一套機械人規格下累積的多批資料;跨硬件整合仍須先處理資料定義,不能單靠增加路徑完成。

  • RTC 把前一段預測帶入下一段,將動作接續納入模型條件。
  • 非同步取得新預測可與舊動作執行重疊,但交接可能重播動作。
  • 多資料集按影格量參與抽樣,來源比例需要自行管理。
  • 資料欄位、單位及動作含義須一致,合併不會自動完成對齊。
  • 發布內容只有 source code,資料與模型資產均須另外準備。

要驗證這套流程,團隊須自行提供 datasets、pretrained weights 和 trained checkpoints,不能下載後便直接重現已訓練策略。訓練配置需要 π₀.₅ 初始 parameters 及 tokenizer assets,也可改用本地 parameters 目錄。合理的試驗順序是先核對資料定義及抽樣比例,再測試新舊動作段交接,避免把資料混合問題與控制時序問題混在一起判斷。

執行環境支援 Ubuntu 22.04 與 NVIDIA Graphics Processing Unit(GPU),依賴透過 uv 管理,定義保存在 pyproject.toml 和 uv.lock。上游列出的 full fine-tuning 單 GPU 記憶體需求約為 70 GB,而 RTC 範例正是採用 full fine-tuning;這只能作資源規劃參考,實際用量仍取決於配置,不能視為本項目的實測要求。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, 模型, 多模態模型, 模型訓練, NVIDIA, 香港, Linux, Python, Dataset 數據集, Tokenize