面對一篇研究論文、程式碼、訓練資料和指定指標，AI 編程代理能否在固定算力內推進結果？Agent4Sci 是一個長時間測試與評估工具，涵蓋 11 個科學領域的 20 個基準和 25 項任務，檢視前沿代理在沒有人工協助下能否超越已發表的最佳表現。
它不以排行榜為目標，而是讓代理在標準化環境中修改程式、執行實驗和提交成果。每項任務會先核對已發表的基準結果、修整資料切分，並封存測試集；代理只能查看訓練及驗證資料，避免直接利用測試答案調整結果。
評估分成三步：代理進行實驗並提交成果，另一個代理在封存的測試集上評分，第三個代理則審查過程有否選擇性呈報、測試資料污染、操弄指標或硬編碼輸出。這種分工有助分辨模型進步是否來自有效研究，而非鑽評測漏洞；但長時間實驗本身結果波動較大，作者也提醒應把結果視為研究能力的探測，而不是穩定排名。
- 覆蓋 20 個基準、25 項任務及 11 個科學領域。
- 以固定運算預算測量代理相對於已發表最佳結果的進步幅度。
- 測試集封存，並由獨立階段評分及審查評測操弄風險。
- 提供
research、experiment和checklist工作流程，分別支援文獻引導構思、實驗安排及定期檢查研究方向。
研究團隊、AI 代理開發者及機器學習科研團隊，可用它檢查代理能否在真實程式碼和資料條件下完成持續實驗，而不只是產生看似合理的修改。儲存庫提供 agent4sci run 執行評估流程，另有後端與自建基準容器的說明；提供的資料未列出完整安裝及模型預設細節，因此無法據此判斷所需 API、算力配置或具體執行時間。