[技術文章] HARNESSSQL 讓 SQL 代理在真實資料庫中學習

2026 年 10 月 11 日 Share to X Facebook Copy link

SQL 代理不再只需一次生成查詢，而是在可執行資料庫內探索、修正錯誤並完成任務。

面對陌生資料庫，SQL 代理往往要先查看 schema、檢查欄位和值，再執行試探查詢、分析錯誤，最後修訂並提交 SQL。HARNESSSQL（Harness-Native Training for SQL Agents in Realistic Database Environments）是一套面向這類互動流程的後訓練框架，針對模型訓練只學習「問題直接對應查詢」、但推理時才加入執行工具的落差作出修正。

傳統 Text-to-SQL 通常把資料庫視為靜態提示內容，難以涵蓋長時間、多回合的探索。HARNESSSQL 建立隔離且可執行的資料庫環境，配合隱藏的 execution oracles，讓教師模型直接在目標 SQL harness 內完成互動，並只保留經驗證的操作軌跡進行 full-sequence SFT，之後再以 execution reward 進行 RL。

項目的核心做法包括：
• 將 schema 檢查、工具呼叫、查詢執行及錯誤修正納入訓練流程
• 以 sandbox 控制資料庫狀態，保存結果與錯誤回饋
• 只使用可驗證的成功軌跡，減少錯誤示範干擾
• 讓模型適應 Spider 2.0-SQLite 的互動式任務

在 Spider 2.0-SQLite 上，Qwen3-8B 的 execution accuracy 由 15.5% 升至 45.2%，Qwen3-14B 則由 22.2% 升至 54.8%；訓練所得能力亦能轉移至 BIRD-Interact 和 LiveSQLBench。結果反映，資料庫代理要處理複雜工作流，訓練階段同步保留執行 harness，比只在推理階段補上工具更能縮小訓練與使用環境的差距。

Paper

Categories: 開源, 香港科技大學, 清華大學, Agentic, 模型, 模型訓練, Qwen, 微軟, 框架, 香港, 工具, 庫, 強化學習

---

ComfyUI-VoiceWorkbench：本地語音工作台：逐句修正音高與節奏

2026 年 10 月 11 日 Share to X Facebook Copy link

不用剪碎音檔，便可逐句調整音高、字詞時長、停頓和尾音，並比較不同錄音版本。

想修正一句旁白的語速、音高或句尾拖音時，ComfyUI-VoiceWorkbench 讓你在完整錄音上直接編輯，毋須把每個字剪開再重新拼接。這個項目屬於本地語音編輯工具，實際處理的是生成語音和錄音後期微調之間的卡位；編輯器可作為 ComfyUI 底部面板使用，也能獨立在本機運行。

聲音處理採用一次 Praat resynthesis pass，同時套用整段錄音的時長和音高變化，未修改的預覽則保留原始 WAV bytes。介面可調整 0.75 至 1.25 倍全局速度、全局音高及最多 64 個局部曲線點，亦能處理現有停頓和可靠的 voiced ending；編輯完成後可比較 Original、Edited 與不同生成 take，再回到較早版本。

• 不用下載模型：內置例子可直接開啟和編輯，Windows 亦可調用已安裝的英文系統語音。
• 適合本地工作流：支援 Python 3.10 或更新版本，並可接入 ComfyUI custom nodes。
• 保留人工判斷：字詞邊界只是估算，無聲或不穩定區域不能可靠提供音高目標。
• 有明確範圍限制：單聲道錄音約 0.15 至 60 秒，AI take 最多 200 字元；服務只綁定 loopback，並非公開共享伺服器。

可選的本地適配器把能力延伸至語音生成和表演編輯：IndexTTS2 支援參考聲線及情緒生成，AuK Base 用於整段錄音的表演編輯，Qwen3 forced aligner 則協助估算字詞邊界。這些元件不是開啟基本編輯器的必要條件，系統語音也不提供聲線複製或情感控制。

適合旁白製作、語音原型和 ComfyUI 使用者處理少量錄音，而不是多人共用的雲端配音平台。尾音延長最多 200 毫秒，目標音高及 voiced 區域亦有上下限；自動對齊不代表每個字都讀得正確，接受修改前仍要逐段聆聽。

GitHub

Categories: 開源, ComfyUI, 模型, Qwen, Audio, 工具, Python, 語音

---

OneSearch-VL：多模體視覺 deep research agent

2026 年 10 月 10 日 Share to X Facebook Copy link

由單張相片到影片片段，OneSearch-VL 會找出視覺線索、搜尋外部資料，再把證據串成可核對的答案。

由一張相片、相片集合到影片片段，OneSearch-VL 會先定位視覺線索，再檢索外部知識，將相關證據組合成答案。它屬於多模態 deep research agent，處理的是影像內容理解與資料查證之間難以銜接的工作。

核心是 Visually Grounded Evidence Graph（VGEG），把視覺錨點、來源支持的事實和產生答案所需的操作連在一起。VGEG 亦支援資料建立及驗證；Evidence-aware Visual-Grounded Rubric reward（EVGR）則在強化學習中監督證據是否可追溯，以及答案有沒有真正對應影像內容。

項目提供 OneSearch-MI-Bench 和 OneSearch-Video-Bench，分別面向多圖及影片研究能力。輸入資料未列出具體分數或模型名稱，因此不能把它描述成已全面勝過其他視覺研究方案；它較適合用作研究原型、訓練資料管線和 agentic workflow 的基礎。

OneSearch-VL 包含 Agentic SFT、Agentic RL、推理及評估相關目錄，並標示 Python 3.11+；先準備模型、資料集和外部工具，再執行訓練或評估流程。對需要查核圖片來源、比較多張圖片，或從影片整理證據的研究團隊，這種統一處理方式較容易整合到既有工作流，但部署成本和工具依賴仍要自行確認。

• 同時支援單圖、多圖集合及影片
• 以 VGEG 統一視覺線索與外部證據
• EVGR 強調證據可追溯及視覺對齊
• 提供多圖與影片專用 benchmark
• 支援 SFT、RL、推理和評估流程

GitHub · 模型

Categories: 開源, Agentic, AI productions, 模型, 視覺模型, 多模態模型, 模型訓練, Video, Image, 工具, Python, 庫, Dataset 數據集, 強化學習

---

Compo：以 Spatial Canvas 編排海報中的文字、人物與圖像

2026 年 10 月 10 日 Share to X Facebook Copy link

Compo 讓你用畫布安排文字、人物與圖像位置，再交由模型生成海報，減少只靠文字描述構圖的反覆試錯。

海報生成最難控制的往往不是主題，而是文字、人物和裝飾元素應該放在哪裏。Compo 屬於海報生成模型及介面項目，將 Spatial Canvas Interface 與 Text Specifications 結合，讓使用者直接在畫面中表達二維構圖意圖。

Spatial Canvas 支援四種綁定方式：Semantic Binding 指定文字概念及目標區域，Identity Binding 以參考圖保留視覺身份，Text Binding 同時交代準確字句與位置，Pixel Binding 則放入需要保留的像素內容。Bounding boxes、參考圖片和文字識別資料會一併渲染到畫布，形成模型接收的統一影像輸入。

• 以畫布補足單靠文字提示難以交代的空間關係
• Compo 由預訓練 image editing model 改編而成，毋須另建 task-specific architecture
• 支援 direct inference，也支援 agentic mode 自動規劃畫布
• 可用於海報、宣傳圖及需要精確排版的視覺內容

Compo 的模型改編重點，是令現有 image editing model 理解不同綁定方式及其組合，而不是從零訓練專用 poster generator。項目亦建立自動產生監督數據的流程，協助模型學習各類 Spatial Canvas 輸入；這比純文字提示更容易控制位置，但使用者仍要準備畫布內容，agentic mode 的自動規劃亦未必取代人工微調。

適合研究人員、設計工具開發者和需要批量製作宣傳海報的內容團隊作為試驗起點，而非直接視作成熟的製作平台。

項目主頁 · GitHub

Categories: 開源, 香港大學, Agentic, 模型, 視覺模型, 模型訓練, 微軟, Image, 影像處理, 香港, 工具, 中國, Dataset 數據集

---

EBG 紀錄長流程 AI 代理的決策

2026 年 10 月 10 日 Share to X Facebook Copy link

代理做得越多，監察越難。EBG 將分散在訊息、程式及工具結果中的證據，整理成可核查的行為關係圖。

長流程 AI 代理執行軟件工程工作時，使用者往往難以判斷哪些決定會影響結果。Evidence-Grounded Behavior Graph（EBG）是一套 training-free 監察方法，將來源連結證據整理成行為、範圍與關係，協助監察者追查代理做過甚麼，以及相關證據藏在哪裏。

EBG 不只記錄操作次序，而是以 task-oriented views 把要求、觀察到的行為和可能後果連起來，讓人集中核實具影響力的決定。這比逐段翻查訊息、程式碼、工具輸出及中間產物更適合長流程工作，但它仍需要可靠的來源證據和監察模型作判斷，並不會自動保證結論正確。

項目同時提供 AgentMonBench，涵蓋 SpecGAP、SilentSwap 和 FeedbackTrace 三個子集，各有 100 個例子；主要實驗使用 FeedbackTrace Long 的 100 個樣本。基準從兩個方向測試代理監察能力：要求與行為是否一致，以及能否找出需要使用者核實的重大自主決定；網站亦展示八個模型的結果，但儲存庫沒有在摘要中列出完整分數。

• Python 3.11 或以上可執行 EBG，FeedbackTrace 建構需要 Python 3.12，SilentSwap 另需 Docker。
• scripts.demo 可離線建立合成圖，不需憑證或基準資料，測試結果會儲存至 outputs/demo/。
• 公開資料包括完整評估輸入、Gold annotations 和樣本清單；預測及 judging 則需自行提供 endpoint、模型 ID 和憑證。

對研究AI 安全監察及軟件工程團隊來說，EBG 的把「代理做了甚麼」轉化成可追溯的證據結構。它目前仍是 under review at ICLR 2027 的研究項目，較適合作為可重現的研究基礎及監察流程原型，而非即插即用的生產系統。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, API, 軟件, 工具, Python, 庫, 安全, 中國, Dataset 數據集

---

SuperNav 讓多模態模型指揮機械狗導航

2026 年 10 月 10 日 Share to X Facebook Copy link

由多模態模型處理找物件、按次序到訪及高層次指令，SuperNav 把導航變成可觀察、可評估的代理工作流。

當指令由「找出籃球」延伸至「先找打印機，再找垃圾桶」，SuperNav 以 Agentic Navigation System 的形式處理場景理解、路線行動與任務進度。項目實際解決的是機械人面對不同場景和非固定指令時，難以只靠預設導航流程完成工作的問題。

系統由預訓練多模態模型 (multimodal model) 作決策，再透過工具、task-progress tracking 和 context management 將決定轉成移動行動，不需要為導航專門微調模型。Codex、OpenCode 或 Kimi 都可作為代理執行端，任務、工具與 Skills 則透過實驗設定組合，彈性高於寫死單一路線，但結果仍會受模型判斷及工具能力影響。

作者提供 agent runtime、導航工具、Skills、實驗配方及評估工具，支援 Habitat-GS 和 AI2-THOR。測試時可先在模擬環境執行單物件、多物件和 demand-driven navigation，再查看 RGB 觀察、軌跡、tool calls、提示詞、工具結果及原生記錄；儲存庫目前沒有真實機械人驅動程式，Unitree Go2 的示範主要來自研究項目展示。

研究結果指出，SuperNav 在單物件、多物件及需求導向導航的成功率高於所比較的基線，並展示 Unitree Go2 實體部署。可留意的限制是，資料只交代高於評估基線，未提供足夠細節讓讀者單靠儲存庫重現所有真實機械人測試。

• 適合場景： 室內找物件、依次到訪多個目標，以及較高層次的整理要求
• 可觀察性： 即時查看 RGB 影像、軌跡和工具呼叫，完成後再檢查記錄
• 模型關係： 多模態模型負責決策，SuperNav 負責工具協調、進度追蹤與導航執行
• 測試範圍： Habitat-GS、AI2-THOR，並有 Unitree Go2 示範

研究團隊、具身 AI 開發者和需要比較導航代理的人，會較容易從這個開源項目受益；一般使用者則要先準備相應模型服務、模擬環境和實驗設定，不能把儲存庫直接當成已包裝完成的機械人應用。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 多模態模型, 模型訓練, Image, 提示詞, 工具, 庫, Kimi, Skill 技能

---

UniWAM 把理解、預測與機械人動作合而為一

2026 年 10 月 9 日 Share to X Facebook Copy link

UniWAM 以 8B 參數模型整合語意理解、視覺預測和動作生成，瞄準機械人操作中理解與執行脫節的問題。

面對需要理解指令、預測環境變化再控制機械人的任務，UniWAM 將三個步驟放進同一個 8B-parameter 模型，屬於結合世界模型與 Vision-Language-Action（VLA）的開源研究項目。它以 Mixture-of-Transformers（MoT）連接 physical reasoner、world generator 和 action predictor，讓三者透過 joint multimodal attention 交換資訊。

模型不只依賴機械人示範，預訓練亦混合 human egocentric data、robot data 及 visual question answering（VQA）資料，並把低層動作轉成自然語言，改善視覺語言能力與實體操作之間的銜接。Post-training 再加入 future visual noise augmentation，配合 history-conditioned flow matching，以較少 denoising steps 生成動作。

• 整合範圍： 同時處理 physical reasoning、視覺生成與動作預測
• 訓練訊號： 結合機械人、第一身人類視角及 VQA 資料
• 效率設計： 用動作歷史初始化生成流程，減少 denoising steps
• 硬件成本： RoboTwin 2.0 post-training 曾以 8 張 NVIDIA H100 GPU 執行 10 小時

GitHub 儲存庫提供 models/、train/ 和 utils/ 等模型與訓練程式，並附有 RoboTwin 2.0、LIBERO 及 LIBERO-plus 的資料處理和評估工具。Python 3.10、CUDA 兼容的 PyTorch 環境較適合測試，使用者可先以模擬器資料和配置檔驗證訓練或推理流程。

項目首頁宣稱 UniWAM 在 in-distribution、robustness、generalization 及 instruction following 等多項評估取得 SOTA，但儲存庫提供的資訊未列出完整分數和比較表。Bridge、DROID、Fractal 以及 real-world inference 明確不在今次發布範圍內，因此它較適合研究團隊測試統一式機械人模型，而不是即時接駁真實機械人的現成方案。

項目主頁 · GitHub · 項目

Categories: 開源, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 世界模型, 模型訓練, NVIDIA, VLA, Robotic, 香港, 工具, Python, 庫, Dataset 數據集

---

RecursiveGameCreator：讓你的創意從原型走向成功的遊戲開發框架

2026 年 10 月 9 日 Share to X Facebook Copy link

Recursive Game Creator 把設計、開發、遊玩與評審串成循環，令 AI 遊戲開發不止於成功運行。

遊戲能夠運行，不代表玩家會覺得好玩。Recursive Game Creator 將 Designer、Builder、coding-native Player 與 Reviewer 串成循環，屬於一個 Agentic Product-Level Experience-Oriented Game Harness，處理 AI 由可玩原型持續改良至完整遊戲時，缺乏體驗評估的問題。

Player 會透過程式介面執行可重用的 gameplay policies，收集多條 gameplay trajectories，毋須每個動作都重新呼叫模型，較適合反覆測試機制與內容。Reviewer 再結合行為軌跡、畫面觀察、玩家偏好及遊戲專屬準則，為下一輪 Designer 計劃提供修訂回饋。

項目支援 HTML 和 Godot，遊戲可在隔離 runtime 內開發及測試，亦可選擇接入影像、3D asset 與 Blender。macOS 或 Linux、Git、Node.js 22/npm，以及運行中的 Docker daemon 是主要環境要求；Docker 使用 software rendering，主機不必配備 GPU。

目前公開結果以三輪迭代展示改良，GameCraft-Bench overall 由 R1 至 R3 提升 5.19 points。這個數字反映循環式修訂的效果，但未等同所有遊戲都能獲得相同體驗，因為評審準則、玩家偏好及遊戲類型仍會影響結果。

較適合研究 agentic game development、需要大量自動 playtesting 的團隊，以及希望比較遊戲版本演進的開發者。實驗可從 HTML 遊戲開始，再按需要加入 Godot、視覺素材或 Blender 整合，先驗證設計—開發—遊玩—評審流程是否符合自身工作流。

• 以四個角色連接設計、實作、遊玩與評審
• 透過 reusable policies 收集 gameplay trajectories
• 同時考慮行為、畫面與玩家偏好
• 支援 HTML、Godot、3D asset 及 Blender 整合
• GameCraft-Bench 三輪迭代提升 5.19 points

項目主頁 · GitHub

Categories: 開源, 香港大學, Agentic, 模型, DeepSeek, Image, 框架, 香港, 軟件, Mac, 3D, Linux, 編程

---

nanoMuse：跨裝置、會先徵求同意的開源個人代理

2026 年 10 月 9 日 Share to X Facebook Copy link

nanoMuse 將手機、電腦與網頁連成同一個個人代理，能代辦事情，也會在刪除、傳送或付款前停下來確認。

你可以在手機交代工作，讓 nanoMuse 轉到電腦執行，完成確認時再把要求送回手上的裝置。它屬於開源個人代理項目，處理的是跨裝置協作、持續執行與高風險操作控管。nanoMuse 是獨立的社區項目，與 Meta Platforms, Inc. 無關

手機 App、桌面 App、網頁控制台和串連各裝置的 relay 放在同一個 GitHub 儲存庫，支援 Android、iPhone、iPad、macOS、Windows、Linux 和網頁。Shell、瀏覽器、MCP servers、skills，以及可透過畫面操作手機 App 和電腦視窗的 Hands，全部經 Sentinel 轉接；刪除、傳送或付款前會要求批准，代理本身不會直接執行工具。

• Markdown 檔案可讀寫，用來描述代理身份、記憶和喚醒時機
• App 關閉後仍可繼續工作，裝置共用同一個帳戶和對話
• 可使用社群 relay 的免費模型額度，亦可改用自己的 key
• relay 能在自家伺服器運行，減少資料離開住所的需要

和 Muse、OpenMinis 的比較：nanoMuse 明確沿用 Meta Muse 式的個人代理方向，但把手機、桌面、網頁、relay 和安全批准機制一併開源。Android、Windows、macOS 和 Linux 有下載版本，iPhone、iPad 則透過 TestFlight beta。

項目主頁 · GitHub

Categories: 開源, Agentic, MCP, 模型, 框架, 工具, Mac, Linux, 庫, 安全, Meta, 免費試用, 中國, 蘋果, Skill 技能

---

AdvSim2Real 讓網頁爬蟲代理學懂抵抗提示注入

2026 年 10 月 9 日 Share to X Facebook Copy link

網頁爬蟲代理不能完全忽略頁面內容，AdvSim2Real 改用自我對抗訓練，令代理在保留操作能力之餘更能抵禦惡意指令。

當網頁內文同時包含任務資料和惡意指令，要代理完全忽略非常重要。AdvSim2Real 屬於網頁代理安全訓練項目，透過動態產生任務和提示注入，處理代理被頁面內容帶偏的問題，並把能力提升帶到真實 Chromium 瀏覽器。

項目在凍結的 WebWorld-14B 中共同訓練任務課程、注入對手和網頁代理。課程專挑代理約有一半機會完成的任務，對手只有在注入令成功變成失敗時才獲得回報；每條操作軌跡再由凍結的 Qwen3.8-27B 評審。執行代理採用 Qwen3.5-4B，訓練後既提升正常任務能力，也減少對攻擊的敏感度。

元件	論文配置／作用
Executor	Qwen3.5-4B；執行網頁任務
Curriculum	產生符合 Agent 當前能力嘅訓練任務
Adversary	產生令 Agent 偏離使用者目標嘅網頁注入內容
World model	WebWorld-14B；模擬每次動作後嘅下一個網頁狀態
Judge	Qwen3.8-27B；判斷任務是否完成

150 項測試任務中，正常完成率由 74.89%升至 81.33%；面對三個訓練所得對手時，完成率由 48.07%升至 57.48%。對未參與訓練的 Kimi-K3 對手，完成率相對基礎代理提升 33.6%；在不呼叫世界模型的真實 Chromium 測試中，嚴格成功率則由 25.56%升至 44.44%。

• 訓練方式：任務、攻擊和執行代理同步演化
• 核心限制：結果高度依賴 WebWorld-14B 模擬質素及 LLM 評審準確度
• 泛化能力：能抵抗未參與訓練的 Kimi-K3 對手
• 驗證範圍：涵蓋 150 項網頁任務及真實 Chromium 測試

儲存庫提供程式碼、benchmark、訓練 checkpoint 和結果，較適合研究網頁代理安全、Computer-use agents 及強化學習的團隊重現。使用者不能把它當成即裝即用的瀏覽器防護工具；要重現訓練或比較結果，仍需按項目提供的模擬器、模型 checkpoint 和評審流程建立測試環境。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 世界模型, 模型訓練, Qwen, Google, 工具, 庫, 安全, Dataset 數據集, Kimi, 強化學習

---