
終端機代理面對複雜指令時,往往不是完全不懂,而是在多輪操作中逐步偏離正確路徑。Terminal-RSI 是一項研究項目,利用驗證成功的 terminal trajectories,讓 27B 參數模型反覆修正自身行為,減少同類任務重犯錯誤的情況。
項目把 Recursive Self-Rewrite 與 Policy-Refine 分成兩條互相配合的流程。模型先透過不同 harness 產生操作軌跡,再由 terminal verifier 篩走失敗結果;成功軌跡會交給 actor 進行 SFT,critic 則保留並重新校準,之後再以 actor–critic PPO 一同優化政策。
它採用 TB-GAE(Turn-Based Generalized Advantage Estimation)追蹤生成 token 的責任,觀察內容留在上下文中,信用分配則沿着每輪操作向後傳遞。完成一輪後,保留的 checkpoint 會成為下一輪遞歸改進的起點,而非每次都由零開始訓練。
測試結果顯示,Terminal-Bench 4.0 的分數由 0.00% 升至 19.84%,Terminal-Bench 2.1 則由 51.70% 升至 86.52%,分別提升 19.84 個百分點及 34.82 個百分點。兩個基準版本的任務與難度不同,數字較適合用來觀察各自的改進幅度,不能直接當作同一條排行榜比較。
- 只保留通過 verifier 的成功軌跡
- 以 Recursive Self-Rewrite 改寫可重用的操作經驗
- 以 Policy-Refine 持續調整 actor–critic 政策
- Terminal-RSI-27B 是目前展示的最終 checkpoint
- Code 與 model 仍標示為即將推出
對需要模型執行檔案處理、程式編輯或多步驟 shell 任務的工作流,這種訓練方式提供了另一條提升可靠性的方向。不過項目仍處於研究展示階段,代碼及模型尚未公開,結果亦主要集中於指定的 Terminal-Bench 評測。