面對客戶只交來一段需求、現成系統、文件和幾位可詢問的人，AI 代理要處理的不只是寫程式。FDE Gym 屬於面向 coding agent 的端到端線上評測工具，將每個案例還原成 Forward Deployed Engineer（FDE）交付工作，最後按系統上線後面對的保留流量評分。
它刻意把需求澄清、未寫明的流程規則、人手介入時機和事故責任放入同一個工作流程。代理可以閱讀客戶交接資料、操作終端機、向相關人員提問，再交付可運行系統；評分不只看程式碼是否通過範例，而是看沒有預先展示的情境能否處理妥當。
• 20 個案例涵蓋端到端客戶交付情境
• 評測對象是 coding agent 及其交付的運行中系統
• 以 held-out traffic 檢驗未公開情境，而非只測固定輸入輸出
• 代理需要判斷哪些工作可自動化，哪些必須交由人員處理
相較經典 online judge 只提供完整題目、輸入輸出格式和樣例，FDE Gym 將模糊需求與現場決策納入評測，因此更接近企業採用 AI 代理時遇到的風險。不過，結果會同時受代理的提問策略、工具能力和交付系統質素影響，未必能單獨反映某個模型的程式編寫能力。
項目以 TypeScript 建成，提供網站工作台、案例管理及執行案例的機器；自建版本可配合 managed database 和 cloud object store，亦可新增案例及運行節點。案例資料另有 Hugging Face 資源，文件亦交代隔離範圍，適合研究團隊比較 coding agent、建立內部測試集，或讓負責 AI 產品交付的工程師測試代理能否處理上線後的未知情況。