
完成眼前任務不代表 AI 助理學會了經驗:它還要在後續工作中找回先前接觸過的檔案、工具、規則或使用者偏好。Continual Learning Exam(CLE)是一套持續學習評測基準,透過相連的專業任務,檢驗代理能否累積並重用這些資訊。
每項任務分成五個相連階段,後續階段可能需要運用先前累積的知識。完整基準涵蓋 12 個領域、89 種專業角色及 120 項由 50 多位領域專家撰寫的任務,共有 600 個階段;CLE Lite 則提供 20 項任務及 100 個階段,並公開任務卡、輸入檔案和執行環境,方便研究團隊先行測試。
CLE 提供兩種評測方式:Direct 讓代理直接執行全部五個階段;CLE Trial 1 和 Trial 2 則要求代理通過當前階段,才繼續前進,Trial 2 另加入診斷回饋及一次修訂。這個安排能比較代理在不同流程下的完成情況,也能觀察回饋是否改善結果,但不應把單次任務得分直接視為代理已具備穩定、通用的長期學習能力。
公開結果中,最佳配置完成了 47.7% 的階段;加入診斷回饋和一次修訂後,完成分數的中位增幅為 5.3 個百分點。這些數字反映任務完成度仍有明顯提升空間,也提醒使用者把評測結果視為比較代理配置的依據,而非對日常工作成效的保證。
CLE 適合研究代理記憶、工具使用與跨任務學習的團隊,也適合評估專業工作流程的開發者。可以先用 CLE Lite 的任務套件和 Harbor 執行環境測試代理,再按需要比較 Direct、Trial 1 與 Trial 2;完整基準、排行榜及研究論文則可用來進一步查看任務分布和評測結果。
- 以五個相連階段檢驗經驗能否在後續工作中重用。
- 完整基準涵蓋 120 項任務、12 個領域及 89 種專業角色。
- CLE Lite 提供 20 項任務與 100 個階段,可先行測試。
- Trial 2 加入診斷回饋和一次修訂,最佳配置完成 47.7% 的階段。