Embodied First Exam:機器人是真正理解任務

這是一套針對具身智能程式代理的統一測試框架,以程式作答,再重播機器人片段評分。

logo

Embodied First Exam 把 coding agent 帶進真正的機器人操作題:代理在凍結場景中編寫並執行程式,觀察機械臂或身體控制器的反應,再按結果修正。它屬於 benchmark(評測基準)與統一框架,專門檢查程式代理能否把抽象指令轉成可運行的物理動作。

與只比較最終成功率的一次性測試不同,這套方法保留執行程式及場景重播,讓研究人員能分辨模型是真正理解任務,還是碰巧得到滿意結果。框架涵蓋 RoboPaint、RoboARC、RoboDynamicExam 等九個原創 suite,亦接納多個既有機器人與具身 benchmark,著重增加任務多樣性。

測試可分成三個層次:
– 以 RoboPaint、RoboARC 等任務檢視操作能力。
– 以 Embodied Olympics、KinDER、MuJoCo Playground 等涵蓋動態與控制。
– 以 Embodied Safety Exam 等檢查安全表現。

代價是測試環境相當厚重:需要 Linux、Docker、模型 API 權杖,部分 suite 要 NVIDIA GPU;RTX 級別顯示卡與 A100、H100 的支援安排不同,首次拉取映像亦可能佔用 1 至 30 GB。GPU 亦不是每項任務都需要,部分 suite 可在無 GPU 環境執行。

這套框架較適合具身智能研究團隊、agent 開發者,以及需要重現操作失敗原因的工程師。它提供的是可審核的考試環境,而非單一最佳模型;真正有用的成果,是讓不同 coding agent 接受相同物理任務、程式與重播式評分。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, NVIDIA, API, 框架, Vibe Coding, Linux, 編程, 安全