into-the-unknown：探索未知：AI 智能體能自主撰寫科學論文嗎？

2026 年 10 月 19 日 Share to X Facebook Copy link

把 15 個領域科學家親自為自己論文提出的延伸方向交給 AI Agent，要求 Agent 真的把研究做出來並寫成後續論文。

與其請 AI 寫摘要、改改 bug，「Into the Unknown」要求 Agent 從零完成一段小型研究：閱讀一篇科學家寫的論文，再依據科學家親自提出的延伸方向，跑實驗、收集結果，最後交出一篇誠實且完整的後續論文。15 道題目橫跨不同學科，每一道都來自真正做研究的人對自己工作的下一步構想，而不是從公開資料庫拼湊出來的人工題。

針對想做比較的人，配套已經齊備：Hugging Face 上釋出資料集與 Agent 完整軌跡、檔案系統與產出論文，網站設有排行榜，歡迎提交新 Agent 的論文。Agent 端支援 Claude Agent SDK（opus-4.8、opus-5、opus-5.5、fable-5）、OpenAI Codex 系列（sol-5.6、astra-6），以及以 OpenHands 為底層的 glm-5.3。

想自建評測流程，只要 git clone 儲存庫、執行 prepare_tasks.py 把指定題目的程式碼與資料下載到 tasks/paper{1..15}/，再安裝對應 Agent 框架即可逐題評估。這樣做的好處是可以重現 Agent 的執行路徑與檔案系統，後續審視其論文是否真實反映實驗結果。

與一般 benchmark 不同，它考核的不只是答對或答錯，而是 Agent 面對開放、未定義的研究問題時，能否維持學術誠信並產出符合領域標準的成果。這對做 AI for Science、Agent 評測，以及想了解 Agent 在長程科學任務上瓶頸的團隊特別有參考價值。

項目主頁 · GitHub

Categories: 開源, Agentic, OpenAI, API, 框架, Clone, 庫, Anthropic, Dataset 數據集

---

OpenGCUA 讓電腦代理跨越 GUI 限制

2026 年 10 月 17 日 Share to X Facebook Copy link

OpenGCUA 把視覺操作、AX Tree、API 與指令整合，讓代理按任務選擇完成工作的方式。

當電腦代理不再只靠滑鼠點擊，處理複雜工作便可以同時讀取畫面、Accessibility Tree、應用程式 API 和命令列。OpenGCUA 是一個開源 Computer-use agents（CUAs）項目，建構 generalist computer-use agent（GCUA）完整堆疊，解決 GUI-only 代理在效率和操作彈性上的限制。

模型會按任務決定要觀察甚麼、採取哪種行動，以及如何整理上下文；除了 GUI 操作，也能呼叫 app API、執行 shell commands，並透過 code execution 把多個步驟組成帶有迴圈和條件的程式。OSWorld 整合範例提供 screenshot-action 和 code-action 路徑，macOS 14+ harness 則以選單列應用程式在本機裝置執行代理，仍屬 preliminary。

OpenGCUA 亦提供 Cross-Device SDK，嘗試用同一套 programming interface 連接電腦、瀏覽器和手機。這比固定規則的工作流更靈活，但也代表命令、API 和 GUI 權限需要更嚴格的隔離；項目目前仍在逐步開放模型、harness、SDK、trajectories、效率優化和評估工具。

OSWorld-v2 的 82 個 offline tasks 中，八個 frontier models 的平均 partial score 由 GUI-only execution 的 45.3 提升至 64.9，增加 19.6 分；每項任務平均步數減少 53%，六個模型的 output tokens 亦減少 27.2%。較弱模型獲益較大，例如 GLM-5.3-Flash 增加 35.2 分，DeepSeek-V4.1-Flash 增加 29.8 分。

• 同時支援 GUI、AX Tree、CLI、API 和 code execution
• 附有八個模型的 evaluation trajectories，包括 GPT-6 Astra、Claude Opus 5 和 Gemini 3.8 Flash
• 可用 OSWorld 整合範例研究 screenshot-action 與 code-action
• macOS harness 和 Cross-Device SDK 方便研究本機及跨裝置工作流

研究 Computer-use agents、需要分析代理行為，或希望把電腦、瀏覽器和手機操作納入同一工作流的團隊，會較容易從中受益。項目適合用作研究和實驗基礎，未宜直接視為成熟的日常自動化產品；本機執行、權限控制、模型相容性及仍在開發的模組，都會影響部署難度。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Agentic, 模型, Qwen, DeepSeek, Gemini, API, 工具, Mac, 編程, Anthropic, Dataset 數據集

---

3dcodeverse 讓 AI 以程式碼建立可驗證 3D 世界

2026 年 10 月 16 日 Share to X Facebook Copy link

3DCodeVerse 將可執行程式、空間檢查與視覺評審接成工作流，讓 AI 產生的 3D 內容不止能看，亦能修改和驗證。

由幾百行 Blender Python、Three.js 或 GLSL 生成互動場景，內容仍可編輯和檢查，正是 3DCodeVerse 的實用定位。它屬於面向 coding agents 的 3D 研究生態系，處理文字要求轉化為可執行 3D 程式的問題，而不是只輸出一張渲染圖。

核心資料集 3DCodeVerse-2M 收錄約 2.03M 個 code-condition pairs，來自 269,597 個可執行程式，涵蓋 bpy、CadQuery、OpenSCAD、Three.js、URDF、GLSL、OpenGL 七種語言或 runtime，並分為物件、可動物件、場景及圖形渲染四條軌道。每個項目附有程式、所需資產、指令描述、視覺描述、建構步驟和驗證記錄，較適合訓練及測試，而非只作展示素材。

3DCodeVerse Harness 以多智能體和 DAG 結構規劃 3D 項目，再交由空間工具、MCP 服務及確定性檢查驗證連接、介面合約、關節掃描和畫面指標；VLM 評審則用二元缺陷清單及程式上限評分。讀者可先在項目網站瀏覽器執行示例，再從 Hugging Face 取得資料集；自行運行則要準備相應的 Blender、Three.js、OpenGL 等 runtime，不能只靠單一推理套件完成。

開放模型部分提供 Qwen 的 LoRA、DPO 微調配方，並列出 27B 模型在 3DCodeBench 的執行率由 51.9% 提升至 92.9%；項目亦列出相對同一 Claude Opus 5.5 backbone 的 90% 人類偏好結果。這些數字反映訓練資料和驗證流程的價值，但仍應留意評測設定、成本及不同 runtime 對結果的影響。

• 可生成可修改的程式化 3D 物件、場景和渲染效果
• 以 DAG Harness 串連規劃、執行、空間檢查和視覺評審
• 2.03M code-condition pairs 支援模型訓練與基準測試
• Qwen 微調配方兼顧執行成功率和偏好評審

對研究 3D 生成、coding agents、程式化建模或模型微調的團隊，這個項目提供由資料集、工具鏈到模型配方的完整起點。限制在於工作流程依賴多個 3D runtime，評審仍可能受視覺品質和規則覆蓋範圍影響。

項目主頁 · GitHub

Categories: 開源, Agentic, MCP, 模型, 視覺模型, 模型訓練, Qwen, Google, 工具, 3D, Python, 編程, 安全, Anthropic, Dataset 數據集, LoRA

---

Doc2Harness：測試模型能否造出真正可用的 Coding Agent

2026 年 10 月 16 日 Share to X Facebook Copy link

Doc2Harness 不只測模型識唔識寫程式，還把整套 Coding Agent harness 交由模型建造，再以黑盒方式驗證是否真的運作。

當 Coding Agent 要處理長時間、多步驟工作，成敗不只取決於模型本身，還取決於工具呼叫、權限、工作階段、復原流程和整個執行迴圈。Doc2Harness 是一個評測基準，專門處理模型能否按照開發文件和介面骨架，建造完整 Coding Agent harness 的問題。

項目分成兩個階段：第一階段由 build model 在隔離容器內透過 OpenCode 實作 harness；第二階段會凍結成果，再放到另一個容器，由 scripted mock model 端到端驅動。評分不接受 harness 自己聲稱完成任務，而是讀取四個可觀察渠道：傳給模型的請求、磁碟檔案、程序 exit code，以及 command output；positive controls 亦會阻止空殼實作取得通過結果。

• 測試範圍：完整基準包含 328 個 test cases，公開儲存庫只提供 94 個 scenarios，包括 53 個評分案例和 41 個 positive controls。
• 模型差距：完整套件涵蓋 19 個 frontier models，最佳模型通過率為 53.05%，最低約 27.4%。
• 可重現限制：排行榜數字來自完整套件，不能只用公開子集重現。
• 執行條件：需要 Python 3.11+、Docker，依賴採用 Python standard library；完整 catalog 在 concurrency 12 下約需 25 至 90 秒。

這項目直接把 harness engineering 本身納入評測。結果亦反映模組拆分並非必然帶來好處：在控制程式碼大小後，module count 與通過率呈負相關，相關係數為 -0.423；同一模型在 direct drive 和 permissions 等場景的排名也可能大幅變動，顯示權限及工具編排是獨立而關鍵的能力。

Doc2Harness 適合研究 Coding Agent、模型評測和 agent infrastructure 的團隊，用來比較模型建造長流程工具系統的能力，亦可協助定位 harness 在請求流程、檔案操作、程序控制或復原機制上的失敗位置。

項目主頁 · GitHub

Categories: 開源, 北京大學, 清華大學, Agentic, 模型, Vibe Coding, 工具, Python, 庫, 編程, Anthropic, Dataset 數據集

---

LSCBench 揭示 AI 編程代理安全盲點

2026 年 10 月 16 日 Share to X Facebook Copy link

LSCBench 以不提安全的真實漏洞重建任務測試編程代理，結果顯示能正常運作與同時安全的程式碼仍有明顯距離。

當編程代理只收到功能規格、完全沒有被提醒要處理安全問題時，能否自行避開已知漏洞？Last Secure Code Benchmark（LSCBench）正是用來回答這個問題的開源基準測試項目：它從真實項目移除曾經包含漏洞的程式碼，再要求代理按規格重建，最後以功能測試及重現原有攻擊的安全測試共同評分。

LSCBench 共設 450 個任務，涵蓋 150 個漏洞情境，包括 115 個 Common Vulnerabilities and Exposures（CVE）案例及 35 個專家編寫的 Java 應用程式，支援 C、C++、Go、Java、JavaScript、PHP 和 Python。每個情境分成 function、file 及 repo 三種粒度，分別測試代理修補最小函式、相關檔案，以及較完整程式庫的能力。

六個模型在 450 個任務中大多能產生可運作程式碼，但同時通過功能和安全測試的比例最高只有 25.1%。Claude Fable 5 配合 Claude Code 取得最高 Func∧Sec 比例，GPT-5.6-Sol 的安全測試通過率則以 25.8% 稍高；Kimi-K3 雖然功能通過率達 91.3%，兩項測試同時通過的比例只有 16.4%，反映功能完成度與安全性並非同一件事。

• 測試焦點：編程代理沒有收到安全提示，必須自行辨認風險。
• 評分方式：功能測試確認程式可運作，安全測試重播原有攻擊。
• 資料範圍：450 個任務、150 個漏洞情境、7 種程式語言。
• 粒度差異：同一情境會在 function、file、repo 三個層次出現。

LSCBench 屬於面向 Computer-use agents（CUAs）及 coding agents 的安全基準測試，實際解決的是「生成的程式碼能否在沒有安全提示下仍然避免已知漏洞」這個評估缺口。對模型開發團隊、安全工程師及採用 AI 輔助編程的團隊而言，項目提供了比單看功能通過率更接近真實風險的檢查方式；不過，測試結果只涵蓋指定漏洞與攻擊重現流程，不能取代完整 code review、模糊測試及正式安全審計。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Agentic, 模型, Qwen, OpenAI, DeepSeek, Python, 庫, 編程, 安全, Anthropic, Dataset 數據集, Kimi

---

CineRecon 以 Blender 重建實景影片

2026 年 10 月 15 日 Share to X Facebook Copy link

CineRecon 將影片重建變成可檢驗的 Agent 任務，要求模型由參考影片建立可編輯、可動畫化的 Blender 場景。

由完整參考影片出發，Coding Agent 透過 Blender MCP 撰寫及修改 Python，反覆比對渲染畫面，再建立包含幾何、材質、角色動作與鏡頭動畫的可編輯場景。CineRecon 屬於影片重建 benchmark，處理的是模型能否將時間連續的影像內容還原成可修改的 3D 工作成果，而不只是產生相似畫面。

項目以三個重建層級拆開能力差異：Proxy 只要求位置、互動及鏡頭運動，Simplified 再保留可辨認形狀和主要外觀，Detailed 則加入特色形狀、材質和細節。三個層級都要求相同的主體動作、事件及攝影機行為，方便分辨模型是只掌握構圖，還是能重建完整視覺內容。

• 50 段參考影片，切分成 360 個評估片段
• 35,836 筆獨立 checklist 記錄，按層級擴展至 49,668 項檢查
• 評估 Camera、Static、Dynamic 三類一致性
• 支援畫面選取、時間戳對齊、並行評分、續跑及分數彙總

評分由獨立 VLM judge 對齊參考與渲染影片，按片段 checklist 檢查 11 個類別，並以 Camera、Static、Dynamic 三個同等權重維度計算結果。這比單一影像相似度更能揭示鏡頭是否跟足、物件是否保持穩定，以及動作和事件有沒有在正確時間發生。

測試需要 Python 3.10 或以上，支援 Linux 及 macOS；項目提供資料、提示詞、驗證工具和離線 smoke test，但不包含 Agent launchers。團隊可先用離線流程確認資料與評分管線，再接駁 Blender MCP 和隔離 worker 執行重建；研究模型能力時，CineRecon 的價值在於把「看似相似」拆成可追蹤的鏡頭、靜態內容和動態內容，而不是只比較最後一段影片。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, MCP, 模型, 視覺模型, Video, Image, 提示詞, Vibe Coding, 工具, Mac, 3D, Linux, Python, 編程, Anthropic, 動畫, Dataset 數據集

---

Agent Sociodrama：以社交方式強化 Agent

2026 年 10 月 14 日 Share to X Facebook Copy link

北航與南洋理工團隊提出 Agent Sociodrama，追蹤多智能體對話中的情緒與關係演變，再以 Trajectory-Guided Persona Recasting 重新分配角色，部分場景準確率提升達 83.3%。

多個 LLM agent 組隊做任務時，常出現一些尷尬的社交故障：掌握關鍵資訊的角色不發言、意見領袖把答案鎖死在錯處、有人越界卻無人制止。北京航空航太大學與南洋理工大學的合作研究 Agent Sociodrama，正是要把這些「社交病徵」量化，再對症下藥。

這個項目的核心做法是把每一次對話拉成兩條可追蹤的軌跡：每個 agent 的情緒狀態 S，以及彼此之間有向、不對稱的關係 R。系統在六款主流骨幹模型、五個社會情境中重播這些軌跡，檢驗它們是否符合社會學經典模式，並比對人類評審的判斷。當軌跡顯示團隊運作出現結構性偏差，便啟動 Trajectory-Guided Persona Recasting（TPR）診斷失敗根源，重新調整各 agent 的人格設定再重跑任務。

四個協作基準測試中，TPR 在異質與隨機初始的團隊組合上皆有改善，準確率最高提升 83.3 個百分點；在分散資訊合作及混合動機議題類任務中，三個場景擊敗 SOTOPIA 與 AgentVerse，Pareto 比率領先最多 37.5%。對於需要模擬談判、群體決策或角色扮演的研究團隊，這套框架把「為何對話走偏」變成可分析的數據，而非只能靠事後觀察。

目前已公開 fidelity 與 recasting 兩組實驗的處理結果、重算表格的腳本，以及 Tavern 繼承糾紛與 Lost at Sea 兩個完整對話範例；模擬引擎與 TPR 控制器則待論文獲接收後釋出。要快速理解這套方法，可以直接看 fidelity_tavern 資料夾內 Claude Sonnet 4.6 驅動的五位 agent 九輪對話，逐輪檢視 S 與 R 的更新。

• 追蹤情緒狀態 S 與有向關係 R，建立可量化嘅多 agent 社交軌跡
• 以社會理論模式同人類評審交叉驗證社交保真度
• TPR 自動診斷團隊失敗並重塑人格，喺四個基準平均顯著提升表現
• 已釋出數據、重現腳本同完整對話範例，方便本地分析

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, World-Action Model, 框架, Anthropic

---

WeKnora 把企業知識庫變成可問、可做、可追溯的 AI

2026 年 10 月 11 日 Share to X Facebook Copy link

WeKnora 將 RAG、Agent 與 Wiki 放進同一個知識庫，兼顧企業資料整合、任務執行和私有化部署。

不只可以問文件內容，WeKnora 會幫你用 AI 操作工具、整理 Wiki，並保留已確認的偏好與事實。WeKnora 是一個開源 LLM 知識框架，處理企業文件理解、語意檢索與多步推理；RAG、Agent 和 Wiki 共用同一套知識庫，減少資料分散造成的落差。

RAG 會結合語意及關鍵字檢索，回答附上原文引用；Agent 可搜尋網頁、呼叫 MCP 工具、執行技能，並在沙箱中處理檔案。Wiki 則把文件整理成互相連結的頁面與知識圖譜，支援編輯、差異比較和版本回滾，適合需要持續維護內部知識的團隊。

• 支援 PDF、Word、圖片、Excel、XMind 等十多種格式
• 可同步飛書、Confluence、GitLab、Notion、語雀、RSS 等來源
• 透過企業微信、飛書、Slack、Telegram、MCP Server 或 API 提供服務
• 具備多空間 RBAC、審計日誌、任務佇列及 Langfuse 追蹤

模型、向量資料庫及儲存後端都可以替換，內置 29 家模型供應商，包括 OpenAI、DeepSeek、Qwen、Gemini、MiniMax、LiteLLM 和 Ollama。v0.8.2 加入本機瀏覽器操作、MCP Server、對話分叉與回滾，令知識庫不再只負責回答問題，也能參與任務流程。

Docker、Kubernetes、Helm、Lite 單機版及桌面應用都在支援範圍內，資料可以留在本地或私有雲。對重視資料留存、內部協作和可追溯性的企業，這套整合度具備明確吸引力。

項目主頁 · GitHub

Categories: 開源, 騰訊, Agentic, RAG, MCP, Qwen, OpenAI, DeepSeek, Gemini, Image, 框架, KnowledgeGraph, Ollama, 庫, Anthropic, MiniMax, Skill 技能

---

RobotWorld：把多模態智能體放進機械人世界測試

2026 年 10 月 9 日 Share to X Facebook Copy link

想比較多模態模型控制不同機械人的能力，RobotWorld 提供 84 項模擬任務及隱藏評測。

想測試模型能否由影像和狀態資訊控制機械人，而不只是回答完成任務，RobotWorld 提供一套跨模擬器的機械人基準測試項目。它屬於具身智能體評測框架，讓多模態代理透過觀察與動作介面控制機械臂、靈巧手、人形機械人、四足機械人、汽車及無人機，處理 84 項任務和 20 個 benchmark integrations。

代理只能讀取允許的相機影像、關節及任務狀態，再發出受限制的控制指令；環境會回傳執行收據和新觀察，讓代理修正下一步。任務結果由代理看不到的 hidden evaluators 判定，避免模型自行聲稱成功而取代環境驗證，亦能揭示物件狀態遺失、子目標停滯和錯誤完成判斷等失敗原因。

• 評測方式：預設每項任務進行三次 rollout，並停用 environment-side code control。
• 涵蓋範圍：由 manipulation、locomotion 延伸至 driving 和 flight。
• 執行流程：需要還原 source、準備指定 assets、建立 Docker images、編譯 runtime，以及設定模型 API credentials。
• 限制：已註冊任務不代表全部都有已驗證的成功軌跡，部分依賴和受限制資料集仍需另行取得。

相比只測文字答案或單一機械人的方法，RobotWorld 把模型推理、感知、控制和環境回饋放入同一條閉環，較適合研究團隊比較不同多模態模型、重現評測流程，或為新任務和新 embodiment 擴充測試。代價是安裝和資源準備較複雜，結果亦會受模擬器、模型設定及每項任務預算影響。

項目主頁 · GitHub

Categories: 開源, 模型, 多模態模型, API, Image, World-Action Model, Robotic, 框架, Anthropic, Dataset 數據集

---

VIEScore2 讓影像評分不再只剩一個分數

2026 年 10 月 9 日 Share to X Facebook Copy link

VIEScore2 同時評估影像質素、語意一致性與缺陷位置，將難以解讀的分數轉成可追蹤的修改方向。

評估 AI 生成或編輯影像時，單一分數往往只能告訴你好不好，卻說不出問題在哪裏。VIEScore2 屬於影像評估模型，處理生成圖、編輯圖、提示詞及可選的條件影像，並在一次模型運算中輸出質素、語意一致性和缺陷位置。

Qwen3-VL-8B 經微調後，以自回歸方式同時預測 perceptual-quality（PQ）、semantic-consistency（SC）及 16×16 defect grid；artifact 和 misalign 兩個通道可分開標示視覺瑕疵與語意錯位。參數免訓練的 parser 再把網格結果穩定轉成文字解釋，避免說明內容與定位結果互相矛盾。

相比只輸出總分的評估器，VIEScore2 提供較具操作性的空間線索；相比通用 VLM，模型則專注於影像評分和缺陷定位，代價是網格以 16×16 單元表達，細節精度有限。訓練資料把 ImagenWorld、RichHF-18K、PAL4VST、COCO 的遮罩或熱圖，以及 EvalMuse-40K 的分數資料統一成同一格式，再以 SFT 和 GRPO 配合 cell-level Dice、分數準確度及格式有效性獎勵訓練。

GitHub 儲存庫提供評估協議、資料 manifests、外部測試集轉換器，以及 run_eval.py；可使用本地 checkpoint，亦支援 OpenAI、Gemini 和 Anthropic API backend。主要套件包括 AbHuman、AGIQA-3K、EvalMuse、PAL4VST 等評估集，適合研究影像生成模型、建立自動質量檢查流程，或分析編輯結果的錯誤位置。

• 評分更完整：同時輸出 PQ、SC、缺陷網格及文字解釋。
• 結果較接近人評：主要測試集 overall-score SRCC 為 0.601，最佳 VLM baseline 為 0.491。
• 定位能力具競爭力：6 個定位基準中有 3 個取得最高 grid IoU，5 個進入前三。
• 限制清晰：網格定位仍屬區域級提示，並需要按儲存庫協議整理資料與輸入格式。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 模型訓練, Qwen, NVIDIA, OpenAI, Gemini, API, Image, 提示詞, 庫, Anthropic

---