要判斷視覺語言模型（Vision-Language Models，VLMs）能否勝任機械人通用操作，不能只看它有沒有成功發出動作。Embodied Agent Arena 是一個具身代理評測項目，以共同測試流程比較十款模型在五類能力上的表現，涵蓋 1,000 個案例，並把幾何理解、空間推理和視覺定位納入評測。
項目把任務理解、推理和動作選擇交由模型處理，再以同一套精簡評測框架測試不同模型。測試資料整合 32 個既有來源，另加入 168 個案例的 GeoProbe 幾何基準；相比只看機械人互動任務，這種安排能同時檢視模型理解空間資訊的能力，以及能力能否轉化為實際任務成果。
結果反映，單一指標容易掩蓋任務是否真正完成。Gemini 4 Argon 的 3D 路徑誤差最低，為 0.310 米，但 56 條路徑中只有 24 條符合全部限制；Manipulation 成功率最高的 Opus 5.5 亦只有 47.8%。CALVIN 測試中，100 個序列有 60 個完成第一個目標，完成全部五個目標的只有 9 個；在五項 ManiSkill 診斷任務中，Opus 5.5 能完成拾取、放置和堆疊，卻未能完成插入插銷或充電器。
- 同一批 157 項 Planning 任務中，至少有一款模型完成 142 項；仍有 15 項十款模型全部失敗。
- Astra 的 31 項失敗任務耗用 55.5% token；失敗任務平均耗用的 token 是成功任務的 5.1 倍。
- CALVIN 有 65 個序列曾遇到執行錯誤；其中 62 個後來能無錯執行程式碼，但只有 3 個最終完成序列。
- Case Atlas 收錄 181 個涵蓋五類能力的案例，提供十款模型的紀錄；缺少影片的項目會使用共用任務場景，API 中斷則標記為失敗嘗試。
這些結果適合用來比較模型在哪些環節失手，亦提醒研究團隊不要把路徑精度、程式碼執行成功或單一步驟操作，直接當成完整任務能力。項目提供線上結果、案例影片、資料集及程式碼。
