EgoSteer:用第一身影片教機械人靈巧操作

Og image

面對不同物件與操作要求,機械人毋須為每項任務切換獨立模型。EgoSteer 結合第一身視角影片(Egocentric Videos)與自由形式語言指令,處理可控制的靈巧操作(Steerable Dexterous Manipulation)。

系統的核心取向,是讓使用者以日常語句改變機械人的操作方式,而不只觸發預先固定的動作。這種設計適合需要頻繁轉換物件、步驟或操作目標的機械人工作流程。

  • 單一模型支援超過 40 項真實機械人任務
  • 接受自由形式語言指令
  • 從第一身視角影片學習操作資訊
  • 重點在於按指令引導靈巧動作,而非只重播示範

相較每項任務各自訓練模型的常見做法,EgoSteer 着重跨任務共用能力,可減少模型切換帶來的流程負擔。現有資料未交代成功率、延遲、硬件配置及訓練數據規模,因此暫時未能判斷它在未見物件或全新環境中的穩定程度。

研究機械人模仿學習、人機協作或以語言控制操作流程的讀者,會較容易理解它的價值;其後仍需完整技術資料,才能評估部署成本與泛化能力。

項目主頁 · GitHub · 模型

Categories: 模型, 視覺模型, Robotic, Dataset 數據集