
要測試 ChatAPP、PicEditor 等軟件操作能力,單靠靜態截圖不足以反映代理能否完成任務。SoftwareGym 屬於環境合成管線,會生成具備介面及可執行功能的應用程式,再交由 Computer-use agents (CUAs) 在真實 GUI 中操作和驗證,處理訓練環境難以大量製作且欠缺互動性的問題。
流程由 FunctionDesigner 撰寫需求,StyleDesigner、SubStyleDesigner 產生 Avalonia .axaml 介面藍圖,IconDesigner 系列工具建立 SVG 圖示;Coder 再以 .NET 8 和 Avalonia 11 實作,DevCoder 按測試結果修補。各階段透過 Codex CLI 執行,EvalTaskGenerateAgent 負責建立 GUI 測試案例,GPT-5.4-style computer-use agent 或 Seed 則在 OSWorld 的 Ubuntu Docker 虛擬機內操作生成軟件。
- 以 OSWorld 相同的 Docker、Ubuntu 桌面環境對齊後續評估條件
- 透過 screenshots 與 PyAutoGUI actions 驗證真實操作流程
- v1 至 v3 每輪把
summary.json和審查結果交回 Coder/DevCoder 修正 runner-events.jsonl、GUIEval 分數及cost summary.json用於追蹤進度、品質和 token 使用量
這種做法把「生成應用程式」與「代理能否操作」放入同一個閉環,適合研究 Computer-use agents、GUI agent、軟件生成及 OSWorld 評估的團隊。README 提供輸出路徑、代理設定和執行紀錄格式;使用者仍需自行確認 Docker、OSWorld VM、Codex CLI 及相關模型環境是否已備妥。