OneSearch-VL：多模體視覺 deep research agent

2026 年 10 月 10 日 Share to X Copy link

由單張相片到影片片段，OneSearch-VL 會找出視覺線索、搜尋外部資料，再把證據串成可核對的答案。

由一張相片、相片集合到影片片段，OneSearch-VL 會先定位視覺線索，再檢索外部知識，將相關證據組合成答案。它屬於多模態 deep research agent，處理的是影像內容理解與資料查證之間難以銜接的工作。

核心是 Visually Grounded Evidence Graph（VGEG），把視覺錨點、來源支持的事實和產生答案所需的操作連在一起。VGEG 亦支援資料建立及驗證；Evidence-aware Visual-Grounded Rubric reward（EVGR）則在強化學習中監督證據是否可追溯，以及答案有沒有真正對應影像內容。

項目提供 OneSearch-MI-Bench 和 OneSearch-Video-Bench，分別面向多圖及影片研究能力。輸入資料未列出具體分數或模型名稱，因此不能把它描述成已全面勝過其他視覺研究方案；它較適合用作研究原型、訓練資料管線和 agentic workflow 的基礎。

OneSearch-VL 包含 Agentic SFT、Agentic RL、推理及評估相關目錄，並標示 Python 3.11+；先準備模型、資料集和外部工具，再執行訓練或評估流程。對需要查核圖片來源、比較多張圖片，或從影片整理證據的研究團隊，這種統一處理方式較容易整合到既有工作流，但部署成本和工具依賴仍要自行確認。

• 同時支援單圖、多圖集合及影片
• 以 VGEG 統一視覺線索與外部證據
• EVGR 強調證據可追溯及視覺對齊
• 提供多圖與影片專用 benchmark
• 支援 SFT、RL、推理和評估流程

GitHub · 模型

Categories: 開源, Agentic, AI productions, 模型, 視覺模型, 多模態模型, 模型訓練, Video, Image, 工具, Python, 庫, Dataset 數據集, 強化學習

---

Compo：以 Spatial Canvas 編排海報中的文字、人物與圖像

2026 年 10 月 10 日 Share to X Copy link

Compo 讓你用畫布安排文字、人物與圖像位置，再交由模型生成海報，減少只靠文字描述構圖的反覆試錯。

海報生成最難控制的往往不是主題，而是文字、人物和裝飾元素應該放在哪裏。Compo 屬於海報生成模型及介面項目，將 Spatial Canvas Interface 與 Text Specifications 結合，讓使用者直接在畫面中表達二維構圖意圖。

Spatial Canvas 支援四種綁定方式：Semantic Binding 指定文字概念及目標區域，Identity Binding 以參考圖保留視覺身份，Text Binding 同時交代準確字句與位置，Pixel Binding 則放入需要保留的像素內容。Bounding boxes、參考圖片和文字識別資料會一併渲染到畫布，形成模型接收的統一影像輸入。

• 以畫布補足單靠文字提示難以交代的空間關係
• Compo 由預訓練 image editing model 改編而成，毋須另建 task-specific architecture
• 支援 direct inference，也支援 agentic mode 自動規劃畫布
• 可用於海報、宣傳圖及需要精確排版的視覺內容

Compo 的模型改編重點，是令現有 image editing model 理解不同綁定方式及其組合，而不是從零訓練專用 poster generator。項目亦建立自動產生監督數據的流程，協助模型學習各類 Spatial Canvas 輸入；這比純文字提示更容易控制位置，但使用者仍要準備畫布內容，agentic mode 的自動規劃亦未必取代人工微調。

適合研究人員、設計工具開發者和需要批量製作宣傳海報的內容團隊作為試驗起點，而非直接視作成熟的製作平台。

項目主頁 · GitHub

Categories: 開源, 香港大學, Agentic, 模型, 視覺模型, 模型訓練, 微軟, Image, 影像處理, 香港, 工具, 中國, Dataset 數據集

---

AgentGarten 以神經渲染器打造可演化的 AI 世界

2026 年 10 月 10 日 Share to X Copy link

AgentGarten 讓智能體在由程式控制狀態與規則、再由神經渲染器生成畫面的世界中反覆學習，兼顧可控性與視覺真實感。

讓智能體在同一個世界反覆試錯，關鍵不只在模型能力，也在環境是否真的記得狀態、遵守規則，並以接近真實的畫面回應行動。AgentGarten 屬於面向 Agentic 系統的互動環境與神經渲染器項目，處理的是可執行世界難以同時兼顧規則一致性、視覺質感與即時速度的問題。

世界中的物件、目標和變化由程式保存，程式輸出的 depth 或 surface normals 則交給共享 neural renderer 生成智能體看到的畫面。renderer 以 NVIDIA Cosmos3-Nano 為基礎，先用 bidirectional rectified-flow 訓練完整影片，再以 autoregressive block-causal 方法配合 teacher forcing 或 diffusion forcing 生成後續畫面，最後透過 Adversarial Forcing 將模型蒸餾成較少步驟的學生模型。

目前公開內容集中在 neural renderer、訓練配方及 streaming inference；code worlds 和完整 agent practice loop 仍會逐步加入。試用需要 Python 3.11 或以上、PyTorch 2.9 或以上，以及 CUDA 主機，較適合研究智能體、模擬環境或自製互動遊戲的團隊，而非只想即時調用一個現成聊天模型的讀者。

• 可控狀態：規則和世界變化留在可檢查、可修改的程式內。
• 統一視覺介面：只要提供幾何條件，同一世界可以切換不同視覺風格。
• 即時能力：官方資料指在單張 H100、480×832 解析度可超過每秒 30 幀。
• 學習閉環：智能體每輪把經驗整理成 playbook，交給後續輪次繼承。

這種做法以幾何條件取代為每個世界重新製作完整視覺資產，換來較高彈性，但畫面質素仍取決於 renderer 訓練資料、條件輸出和硬件。項目展示的 shelter、bridge 及 companion dog 場景說明它可支援 self-play RL；不過完整程式世界尚未全部公開，現階段更適合作為研究原型和 renderer 實驗基礎。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 模型訓練, NVIDIA, Video, Python, 強化學習

---

SuperNav 讓多模態模型指揮機械狗導航

2026 年 10 月 10 日 Share to X Copy link

由多模態模型處理找物件、按次序到訪及高層次指令，SuperNav 把導航變成可觀察、可評估的代理工作流。

當指令由「找出籃球」延伸至「先找打印機，再找垃圾桶」，SuperNav 以 Agentic Navigation System 的形式處理場景理解、路線行動與任務進度。項目實際解決的是機械人面對不同場景和非固定指令時，難以只靠預設導航流程完成工作的問題。

系統由預訓練多模態模型 (multimodal model) 作決策，再透過工具、task-progress tracking 和 context management 將決定轉成移動行動，不需要為導航專門微調模型。Codex、OpenCode 或 Kimi 都可作為代理執行端，任務、工具與 Skills 則透過實驗設定組合，彈性高於寫死單一路線，但結果仍會受模型判斷及工具能力影響。

作者提供 agent runtime、導航工具、Skills、實驗配方及評估工具，支援 Habitat-GS 和 AI2-THOR。測試時可先在模擬環境執行單物件、多物件和 demand-driven navigation，再查看 RGB 觀察、軌跡、tool calls、提示詞、工具結果及原生記錄；儲存庫目前沒有真實機械人驅動程式，Unitree Go2 的示範主要來自研究項目展示。

研究結果指出，SuperNav 在單物件、多物件及需求導向導航的成功率高於所比較的基線，並展示 Unitree Go2 實體部署。可留意的限制是，資料只交代高於評估基線，未提供足夠細節讓讀者單靠儲存庫重現所有真實機械人測試。

• 適合場景： 室內找物件、依次到訪多個目標，以及較高層次的整理要求
• 可觀察性： 即時查看 RGB 影像、軌跡和工具呼叫，完成後再檢查記錄
• 模型關係： 多模態模型負責決策，SuperNav 負責工具協調、進度追蹤與導航執行
• 測試範圍： Habitat-GS、AI2-THOR，並有 Unitree Go2 示範

研究團隊、具身 AI 開發者和需要比較導航代理的人，會較容易從這個開源項目受益；一般使用者則要先準備相應模型服務、模擬環境和實驗設定，不能把儲存庫直接當成已包裝完成的機械人應用。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 多模態模型, 模型訓練, Image, 提示詞, 工具, 庫, Kimi, Skill 技能

---

RecursiveGameCreator：讓你的創意從原型走向成功的遊戲開發框架

2026 年 10 月 9 日 Share to X Copy link

Recursive Game Creator 把設計、開發、遊玩與評審串成循環，令 AI 遊戲開發不止於成功運行。

遊戲能夠運行，不代表玩家會覺得好玩。Recursive Game Creator 將 Designer、Builder、coding-native Player 與 Reviewer 串成循環，屬於一個 Agentic Product-Level Experience-Oriented Game Harness，處理 AI 由可玩原型持續改良至完整遊戲時，缺乏體驗評估的問題。

Player 會透過程式介面執行可重用的 gameplay policies，收集多條 gameplay trajectories，毋須每個動作都重新呼叫模型，較適合反覆測試機制與內容。Reviewer 再結合行為軌跡、畫面觀察、玩家偏好及遊戲專屬準則，為下一輪 Designer 計劃提供修訂回饋。

項目支援 HTML 和 Godot，遊戲可在隔離 runtime 內開發及測試，亦可選擇接入影像、3D asset 與 Blender。macOS 或 Linux、Git、Node.js 22/npm，以及運行中的 Docker daemon 是主要環境要求；Docker 使用 software rendering，主機不必配備 GPU。

目前公開結果以三輪迭代展示改良，GameCraft-Bench overall 由 R1 至 R3 提升 5.19 points。這個數字反映循環式修訂的效果，但未等同所有遊戲都能獲得相同體驗，因為評審準則、玩家偏好及遊戲類型仍會影響結果。

較適合研究 agentic game development、需要大量自動 playtesting 的團隊，以及希望比較遊戲版本演進的開發者。實驗可從 HTML 遊戲開始，再按需要加入 Godot、視覺素材或 Blender 整合，先驗證設計—開發—遊玩—評審流程是否符合自身工作流。

• 以四個角色連接設計、實作、遊玩與評審
• 透過 reusable policies 收集 gameplay trajectories
• 同時考慮行為、畫面與玩家偏好
• 支援 HTML、Godot、3D asset 及 Blender 整合
• GameCraft-Bench 三輪迭代提升 5.19 points

項目主頁 · GitHub

Categories: 開源, 香港大學, Agentic, 模型, DeepSeek, Image, 框架, 香港, 軟件, Mac, 3D, Linux, 編程

---

nanoMuse：跨裝置、會先徵求同意的開源個人代理

2026 年 10 月 9 日 Share to X Copy link

nanoMuse 將手機、電腦與網頁連成同一個個人代理，能代辦事情，也會在刪除、傳送或付款前停下來確認。

你可以在手機交代工作，讓 nanoMuse 轉到電腦執行，完成確認時再把要求送回手上的裝置。它屬於開源個人代理項目，處理的是跨裝置協作、持續執行與高風險操作控管。nanoMuse 是獨立的社區項目，與 Meta Platforms, Inc. 無關

手機 App、桌面 App、網頁控制台和串連各裝置的 relay 放在同一個 GitHub 儲存庫，支援 Android、iPhone、iPad、macOS、Windows、Linux 和網頁。Shell、瀏覽器、MCP servers、skills，以及可透過畫面操作手機 App 和電腦視窗的 Hands，全部經 Sentinel 轉接；刪除、傳送或付款前會要求批准，代理本身不會直接執行工具。

• Markdown 檔案可讀寫，用來描述代理身份、記憶和喚醒時機
• App 關閉後仍可繼續工作，裝置共用同一個帳戶和對話
• 可使用社群 relay 的免費模型額度，亦可改用自己的 key
• relay 能在自家伺服器運行，減少資料離開住所的需要

和 Muse、OpenMinis 的比較：nanoMuse 明確沿用 Meta Muse 式的個人代理方向，但把手機、桌面、網頁、relay 和安全批准機制一併開源。Android、Windows、macOS 和 Linux 有下載版本，iPhone、iPad 則透過 TestFlight beta。

項目主頁 · GitHub

Categories: 開源, Agentic, MCP, 模型, 框架, 工具, Mac, Linux, 庫, 安全, Meta, 免費試用, 中國, 蘋果, Skill 技能

---

AdvSim2Real 讓網頁爬蟲代理學懂抵抗提示注入

2026 年 10 月 9 日 Share to X Copy link

網頁爬蟲代理不能完全忽略頁面內容，AdvSim2Real 改用自我對抗訓練，令代理在保留操作能力之餘更能抵禦惡意指令。

當網頁內文同時包含任務資料和惡意指令，要代理完全忽略非常重要。AdvSim2Real 屬於網頁代理安全訓練項目，透過動態產生任務和提示注入，處理代理被頁面內容帶偏的問題，並把能力提升帶到真實 Chromium 瀏覽器。

項目在凍結的 WebWorld-14B 中共同訓練任務課程、注入對手和網頁代理。課程專挑代理約有一半機會完成的任務，對手只有在注入令成功變成失敗時才獲得回報；每條操作軌跡再由凍結的 Qwen3.8-27B 評審。執行代理採用 Qwen3.5-4B，訓練後既提升正常任務能力，也減少對攻擊的敏感度。

元件	論文配置／作用
Executor	Qwen3.5-4B；執行網頁任務
Curriculum	產生符合 Agent 當前能力嘅訓練任務
Adversary	產生令 Agent 偏離使用者目標嘅網頁注入內容
World model	WebWorld-14B；模擬每次動作後嘅下一個網頁狀態
Judge	Qwen3.8-27B；判斷任務是否完成

150 項測試任務中，正常完成率由 74.89%升至 81.33%；面對三個訓練所得對手時，完成率由 48.07%升至 57.48%。對未參與訓練的 Kimi-K3 對手，完成率相對基礎代理提升 33.6%；在不呼叫世界模型的真實 Chromium 測試中，嚴格成功率則由 25.56%升至 44.44%。

• 訓練方式：任務、攻擊和執行代理同步演化
• 核心限制：結果高度依賴 WebWorld-14B 模擬質素及 LLM 評審準確度
• 泛化能力：能抵抗未參與訓練的 Kimi-K3 對手
• 驗證範圍：涵蓋 150 項網頁任務及真實 Chromium 測試

儲存庫提供程式碼、benchmark、訓練 checkpoint 和結果，較適合研究網頁代理安全、Computer-use agents 及強化學習的團隊重現。使用者不能把它當成即裝即用的瀏覽器防護工具；要重現訓練或比較結果，仍需按項目提供的模擬器、模型 checkpoint 和評審流程建立測試環境。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 世界模型, 模型訓練, Qwen, Google, 工具, 庫, 安全, Dataset 數據集, Kimi, 強化學習

---

ArtCraft 以 Rust 重做七款 Adobe 創作工具

2026 年 10 月 9 日 Share to X Copy link

ArtCraft 把影像、影片、PDF、排版等工作整合到七款原生工具，檔案留在本機，亦方便接入自動化流程。

由影像編輯、向量繪圖到影片、PDF、動態圖像和頁面排版，ArtCraft 正以 Pure Rust 打造七款原生、開源及免費的創作應用，處理創作者需要在不同工具之間切換，以及雲端往返檔案的工作流程問題。項目涵蓋 PhotoCraft、VectorCraft、FilmCraft、LightCraft、PdfCraft、EffectCraft 和 DesignCraft。

這套工具的差異不只在於功能範圍，而在於每款應用都直接編譯成 macOS、Windows 和 Linux 桌面程式，不依賴 Electron 或 web views。檔案在本機處理，介面、工具和快捷鍵則沿用專業創作軟件較熟悉的操作方式；PhotoCraft、VectorCraft、LightCraft、PdfCraft、EffectCraft 和 DesignCraft 亦可透過 WebAssembly 在瀏覽器執行。

目前 PhotoCraft 和 PdfCraft 屬於 Early alpha，其餘多數工具仍在 In development，不能視為已完成的商業級套裝。不同應用的安裝程式已涵蓋多個平台。

項目亦預留了自動化和 AI agents 的接入方式，可透過 CLI、JSON control channel 或 MCP server 操作應用，適合需要批量處理素材、建立創作流程，或希望自行檢視和修改程式碼的使用者。

• 七款工具涵蓋影像、向量、影片、攝影、PDF、VFX 和排版
• 以 Rust 從頭開發，採用原生桌面程式架構
• 開源程式碼放在 GitHub，並使用 permissive licenses
• 檔案留在本機，部分應用同時支援瀏覽器和 WebAssembly
• 多數工具仍在早期開發階段，成熟度各有不同

項目主頁

Categories: 開源, Agentic, AI productions, MCP, 視頻模型, Video, Image, 影像模型, 教學, 軟件, 工具, Content Creator, Discord, Mac, Linux, 庫

---

MiniCorp 以模擬企業填補 AGI 代理數據缺口

2026 年 10 月 9 日 Share to X Copy link

企業代理要學識做決策，欠缺的往往不是模型，而是真實、連續又可重演的商業數據。MiniCorp 嘗試用虛擬公司補上這個缺口。

企業代理要處理日常工作、作出商業決策，卻難以取得足夠真實而且可長期追蹤的企業資料。MiniCorp 以 Office Simulators for Enterprise AGI 為核心，建立可讓 autonomous enterprise agents 運作的高擬真虛擬公司環境，藉此研究 AI 管理企業的方式。

這些模擬公司涵蓋醫院、航空公司、對沖基金、報紙、電子商貿及高科技企業等場景。代理可以在連續運作的環境中執行工作，研究團隊亦能生成 longitudinal enterprise data，以及比較不同決策後果的 counterfactual enterprise data，減少依賴受私隱限制、價格昂貴或需要專家標註的真實企業檔案。

MiniCorp 處理虛擬企業讓研究者重播情境、改變決策條件，再觀察代理長期表現，適合用於訓練、測試及分析企業級 AI agent。

目前項目提供研究資料、GitHub、arXiv 及 Hugging Face 入口，互動示範仍標示為準備中。使用者可先把它理解成研究企業代理的模擬場，而不是可直接接管真實公司的現成產品。

• 建立醫院、航空、金融及電子商貿等企業場景
• 產生可長期追蹤的企業運作數據
• 支援反事實決策比較與代理研究
• 針對企業級 autonomous agents 的訓練和測試
• 互動 Demo 尚未正式推出

項目主頁

Categories: 開源, Agentic, 模型, 視覺模型, 多模態模型, 模型訓練, World-Action Model, Robotic, 安全, AGI

---

GUI-HARVEST：不改模型，讓 GUI Agent 自動進化

2026 年 10 月 9 日 Share to X Copy link

GUI-HARVEST 讓 GUI agent 從重複操作失敗中修改執行 harness，在不更新模型權重下提升任務表現。

當 GUI agent 反覆在相似操作中失敗，問題未必出在模型權重，也可能是提示詞、記憶、工具介面或復原流程。GUI-HARVEST 屬於自動化 harness 演化工具，會讀取 GUI rollout，找出跨任務重複出現的行為故障，再把修正寫回 harness 原始碼。

它固定 GUI-capable model、整理失敗證據，Harness Engineer 提出帶有明確預測的修改，Validator 再按分數和行為閘門決定保留或回滾。

和 LoRA 或重新訓練模型相比，GUI-HARVEST 不需要更新模型權重，代價是改進依賴可執行 harness 的品質，以及 Search、Validation 和 Test 分割是否設計得可靠。每個候選修改都要同時滿足 ΔSearch ≥ 0、ΔValidation ≥ 0、至少一項提升、行為預測通過，以及 L0/L1 檢查；Test suite 會在優化停止後才開放一次。

測試需要另外安裝 OSWorld 和 seed harness，例如 Agent S3，再以固定 seed 按 domain 分層建立 80 個 Search、80 個 Validation 和 201 個 sealed Test 任務。項目適合研究 GUI agents、維護長流程自動化工具，或需要比較不同 backbone harness 的團隊；OSWorld-Verified 結果顯示，六個 backbone 和三種步數預算的比較中，GUI-HARVEST 均取得最高分，Qwen3-VL-32B 在 15 steps 提升 12.33 個百分點，Gemini 3.1 Pro 在 100 steps 達到 79.14%。

• 凍結模型權重，集中改善可執行 harness
• 從 screenshots 和 action traces 提取重複故障
• 以 Search、Validation 和 sealed Test 控制改動風險
• 支援固定不同模型與步數預算作比較

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 模型訓練, 提示詞, 工具, Dataset 數據集

---