
模仿雙手操作時,難處不止是讓每隻手跟上動作,還要同時配合物件的位置與接觸方式。DONIC 是一套靈巧雙手追蹤控制策略,讓同一個策略控制兩隻 Wuji 機械手,依照人類雙手示範操作物件,並嘗試泛化到未見軌跡和未見物件。
它以五個公開手部與物件資料集,以及 BiHOI 訓練。BiHOI 收錄 1,575 段雙手互動序列,涵蓋 229 件物件和 14.77 小時操作紀錄;研究團隊使用 32 部校準相機拍攝,再重建雙手與物件動作。對機械人研究團隊而言,這套資料處理流程有助把多視角人手示範轉成可供機械手學習的動作參考。
訓練方法亦針對雙手配合調整:每隻手按示範所要求的接觸方式獲得獨立獎勵,避免一隻手的進度掩蓋另一隻手的失誤;PPO(近端策略最佳化)則配合行為克隆,並把經回放驗證的成功操作加入示範資料,供後續訓練使用。這比只追蹤手部姿勢更重視物件與兩手接觸,但結果仍取決於示範資料和模擬環境能否涵蓋目標操作。
在 Isaac Gym 模擬測試中,DONIC 對未見軌跡的成功率為 86.79%,對未見物件則為 57.32%,均毋須微調。相較研究團隊以相同資料池訓練的 DexTrack 與 Dexplore 雙手改編版本,成功率分別高出 77.36 和 45.73 個百分點;加入 BiHOI 後,兩項成功率再升至 88.68% 和 59.76%。這些是模擬結果,不能直接視為真實機械人環境的表現。
現階段較適合把 DONIC 視為研究原型,而非可直接安裝運行的完整控制工具:訓練與評估程式碼、策略檢查點及 BiHOI 資料集尚未公開,已提供的是 BiHOI 處理流程。現有內容可讓研究團隊檢視資料建構方式與模擬結果,但要重現策略或在實體機械手上測試,仍需等待相關程式碼、模型及資料釋出。
- 模型權重、MANO 資產和資料集不會在此處分發,並且仍受其原始許可的約束。
- 單一策略同時控制兩隻 Wuji 靈巧機械手。
- 訓練資料結合五個公開資料集與 BiHOI 多視角雙手互動紀錄。
- 模擬中未見軌跡成功率為 86.79%,未見物件為 57.32%。
- 加入 BiHOI 後,兩項成功率分別升至 88.68% 和 59.76%。
- 訓練與評估程式碼、策略檢查點及 BiHOI 資料集仍未公開。










