PACE-Bench 是一個用來測試自我演化 agents 的基準，核心問題是：當原本可行的 code-driven design 因為環境改動而失效，系統能否靠互動回饋把它改回可行。它更像是在驗證適應能力，而唔只是看一次性解題。
這個項目把 144 組 source-to-target 配對放入 6 類物理場景，要求 agent 先在 source 環境成功，再在 hidden mutation 後的 target 環境重新修正。每次修訂都要經過執行驗證，JSON 會保存，--save-gif 亦可記錄每次通過驗證的嘗試動畫。
同類評測多數固定執行條件，PACE-Bench 直接把變化放進任務核心，逼系統面對失敗後的再設計。它用 OpenAI-compatible endpoint 跑模型，--base-url、--model、--api-key 與 --workers 這些參數都對應實際部署需要，較適合拿來接自家推理服務做批量評估。
從公開結果看，Reflexion 在 Pass@2 上領先，但 Tree-of-Thoughts 在成本效率更高，說明多做自我修正不一定換到更好的性價比。這類基準特別適合做具身智能、仿真控制、研究自我修正流程的團隊，用來檢查模型在新條件下是否真能靠回饋改對，而唔係只係記住舊解法。
- 針對環境突變後的適應能力，不是單次解題
- 以執行驗證驅動每次修訂，結果可重現
- 支援接入 OpenAI-compatible 服務做評測
- 結果顯示準確率與成本效率未必同步提升
- 適合研究 self-evolving agents、控制與物理模擬