ProgramGym:程式重製代理訓練

由可驗證環境到持續開發流程,ProgramGym 把程式重製代理的訓練推向長流程任務。

ProgramGym logo

要令 coding agent 重建一個未公開實作的程式,單靠規格並不足夠,還要探索參考執行檔、推斷行為、設計架構,再反覆修正。ProgramGym 屬於面向程式重製代理的訓練環境與工作流程項目,透過 Program-Env 和 Program-Agent 處理測試環境難以大量建立、長時間開發容易失去脈絡兩個問題。

Program-Env 會由真實 repository 建立參考 executable 和 runtime sandbox,再以驗證回饋逐步產生 behavioral tests;Program-Agent 則把分析、實作和 review 分開處理,利用持續保存的交接紀錄與 revision checkpoints,讓代理可以延續多輪工作,而不是每次重新理解整個程式。

項目目前提供 ProgramGym-1648 dataset,涵蓋 Go、C++、Rust 和 C,共 1,648 個可驗證任務,其中 Go 有 818 個。資料集適合用來訓練或比較 coding agents,尤其是需要黑盒探索、跨多個修訂階段,以及重視行為相容性的工作情境。

• Program-Env 負責建立 executable、sandbox 和行為測試
• Program-Agent 分拆分析、實作與 review 流程
• 任務涵蓋四種系統程式語言及八個領域
• Qwen3.8-27B 基準分數由 34.87% 提升至 42.84%
• 配合 Program-Agent 後,分數提升至 55.71% 或 56.25%

測試結果顯示,Qwen3.8-27B 配合 Program-Agent 達 55.71%,Qwen3.8-27B-SFT 則達 56.25%,較各自基準明顯提升,但仍低於 Claude Opus 4.8 的 70.9% 和 GPT-5.6 Sol 的 69.9%。GitHub 儲存庫主要是資訊中心,提供論文、項目網站及 Hugging Face 資源連結;原始資料沒有交代完整安裝或本地執行步驟,使用者需要先按相關資源了解取得方式。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型訓練, Qwen, Vibe Coding, 庫, 編程, Dataset 數據集