香港科技大學

Embodied Agent Arena：測試十款 VLM 的任務能力

2026 年 11 月 4 日

十款前沿視覺語言模型接受 1,000 個具身任務測試，結果顯示，能生成可執行動作，不代表能完成多步操作或精細接觸任務。

要判斷視覺語言模型（Vision-Language Models，VLMs）能否勝任機械人通用操作，不能只看它有沒有成功發出動作。Embodied Agent Arena 是一個具身代理評測項目，以共同測試流程比較十款模型在五類能力上的表現，涵蓋 1,000 個案例，並把幾何理解、空間推理和視覺定位納入評測。

項目把任務理解、推理和動作選擇交由模型處理，再以同一套精簡評測框架測試不同模型。測試資料整合 32 個既有來源，另加入 168 個案例的 GeoProbe 幾何基準；相比只看機械人互動任務，這種安排能同時檢視模型理解空間資訊的能力，以及能力能否轉化為實際任務成果。

結果反映，單一指標容易掩蓋任務是否真正完成。Gemini 4 Argon 的 3D 路徑誤差最低，為 0.310 米，但 56 條路徑中只有 24 條符合全部限制；Manipulation 成功率最高的 Opus 5.5 亦只有 47.8%。CALVIN 測試中，100 個序列有 60 個完成第一個目標，完成全部五個目標的只有 9 個；在五項 ManiSkill 診斷任務中，Opus 5.5 能完成拾取、放置和堆疊，卻未能完成插入插銷或充電器。

同一批 157 項 Planning 任務中，至少有一款模型完成 142 項；仍有 15 項十款模型全部失敗。
Astra 的 31 項失敗任務耗用 55.5% token；失敗任務平均耗用的 token 是成功任務的 5.1 倍。
CALVIN 有 65 個序列曾遇到執行錯誤；其中 62 個後來能無錯執行程式碼，但只有 3 個最終完成序列。
Case Atlas 收錄 181 個涵蓋五類能力的案例，提供十款模型的紀錄；缺少影片的項目會使用共用任務場景，API 中斷則標記為失敗嘗試。

這些結果適合用來比較模型在哪些環節失手，亦提醒研究團隊不要把路徑精度、程式碼執行成功或單一步驟操作，直接當成完整任務能力。項目提供線上結果、案例影片、資料集及程式碼。

項目主頁 · GitHub · 數據集

Categories: 開源, 香港中文大學, 香港科技大學, Agentic, AI productions, 世界模型, Qwen, DeepSeek, Gemini, API, VLA, Robotic, 框架, 香港, Anthropic, Dataset 數據集

CUA-Master：把教學影片變成電腦操作訓練資料

2026 年 11 月 3 日

教學影片可以變成代理的操作練習，但仍要接駁沙盒。CUA-Master 串起任務挖掘、驗證與訓練資料製作。

把軟件教學影片轉成可驗證的操作任務，CUA-Master 這套框架協助團隊訓練電腦操作代理（Computer-use agents，CUAs）。它會按模型弱點補充任務，讓資料建構與模型改進互相帶動。

框架結合字幕語意與畫面變化重建操作軌跡，再抽取可重用的能力單元，控制新任務涉及的能力及應用程式數量。沙盒執行失敗後，可按回饋回復快照重試；已驗證軌跡可轉成 ms-swift 格式的監督式微調（Supervised Fine-Tuning，SFT）資料。

準備測試需要安裝依賴及接駁服務：

以可編輯模式安裝，加入 seeding、annotator、collection、dev 依賴。
複製 .env.example 為 .env，填入 API 金鑰及沙盒服務端點。
經 provider 介面接駁自己的沙盒後端，再按範例設定搜尋影片資料、下載選定影片；命令支援 –help。

官方公布 CUA-Master-27B 在 OSWorld Verified 得分為 80.2，在 OSWorld 2.0 為 36.9，兩者不可直接當成同一尺度比較。項目較適合有沙盒及訓練資源的代理研究團隊；提供的快速開始內容未完整展示後續流程，尚不足以照抄完成整條訓練流程。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, Agentic, AI productions, 模型, 模型訓練, API, Video, 框架, 教學, 軟件

Work Agents 將數碼工作拆成可驗證成果

2026 年 10 月 28 日

跨應用程式完成工作，不能只看模型答得對不對；Work Agents 把代理流程、能力與可驗證成果放進同一研究脈絡。

Work Agents: Systems, Capabilities, and Optimization

當 AI 要跨應用程式完成多步工作，交付可核實、能供後續使用的成果，比單次答對更重要。Work Agents 是配合調查研究整理的開源閱讀清單，收錄數碼工作代理的系統、訓練、環境、記憶、基準與官方資源，並非可直接安裝的代理軟件。

研究以工作持續性（work persistence）和工作開放性（work openness）描述工作條件，並分成對話（Conversation）、單一步驟（Atomic Action）、多步（Multi-step）、工作流程（Workflow）及工作區（Workspace）五類。它也梳理 foundation models（基礎模型）與 runtime harnesses（執行時框架）的單獨或協同優化，評估則聚焦成果能否符合要求並供下游使用。

你可由 GitHub 清單挑選論文、基準和工具；暫未有可直接執行的代理或統一安裝、測試流程，不能當成部署指南。

整理代理系統、訓練方法、環境與記憶研究
涵蓋五類數碼工作及相關評測資源
比較模型、執行框架及兩者的協同優化
以可驗證、能供下游使用的成果作評估焦點

產品團隊和自動化流程負責人可用它整理能力缺口與評測方法。清單沒有同一環境下的性能數字，具體效果仍要回到各研究與工具核實。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 香港大學, 香港科技大學, 清華大學, Agentic, 模型, 模型訓練, 框架, 香港, 軟件, 工具, 庫

ShotVerse2.0：讓影片生成更有電影感

2026 年 10 月 23 日

從文字生成影片時，角色衣着、場景和鏡頭動作往往難以同時維持一致。FAPL 訓練多模態語言模型理解影片生成所需的時間線索，並支援分項控制。

文字生成影片時，模型不只要描寫眼前一幕，還要推斷未提供的時間變化，並在角色、場景、動作和鏡頭之間維持一致。FAPL（Factor-Aware Predictive Learning，因素感知預測學習）是一套訓練方法，旨在讓多模態大型語言模型（Multimodal Large Language Model，MLLM）的表示真正參與影片生成，而非被解碼器繞過。

它以 UniVideo 的 13B Video DiT 為基礎，不改動模型架構，而是分三階段訓練：先令 DiT 以 MLLM 潛在表示作為內容條件，再透過成對的因素編輯資料，教模型只改指定內容、保留其他因素；最後固定 DiT，訓練 MLLM 與連接器，讓只有文字或文字加完整影片的輸入都能對應同一影片目標。這讓方法同時處理文字推斷影片細節，以及按因素選擇性控制的需求。

研究報告的評測中，FAPL 把 Motion Order 由 48% 提升至 61%，∩-Acc 由 42% 提升至 58%，FaceSim-Arc 則由 0.451 升至 0.523。展示案例亦呈現角色衣着和外觀較能維持一致；不過，這些數字來自指定評測，不能直接視為所有提示詞或影片情境下的保證。

目前較適合研究影片生成、希望改善多因素控制的團隊參考。GitHub 資料標示程式碼、模型權重及 CineFactor-10K 評測提示仍待發布，因此暫未能按儲存庫提供的資料安裝或重現訓練；現階段可先閱讀論文及項目網頁了解方法與示例。

以 MLLM 潛在表示作為影片生成的內容條件。
分開訓練內容 grounding、因素控制與有限輸入預測。
可針對角色、場景、動作或鏡頭變更，同時保留其他因素。
在所列評測中，動作順序、因素準確度與人臉相似度均有提升。
程式碼、權重和評測提示尚未發布，現階段無法依實驗。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, 騰訊, AI productions, 模型, 多模態模型, 模型訓練, Video, 提示詞, 香港, 庫

MT-Forcing：多輪改圖守住細節唔再走樣

2026 年 10 月 20 日

連續改同一張圖時，主體、紋理與構圖往往會慢慢偏離；MT Forcing 以多輪訓練與教師引導改善這類累積錯誤。

連續要求「改杯色、加條紋、再調光線」時，圖片往往未到最後一輪已經失真。MT Forcing 是針對多輪圖像編輯的訓練框架，配合自迴歸擴散模型，減少每輪修改帶來的漂移。

方法把單輪 DMD（Distribution Matching Distillation）與 Teacher-Forcing Guidance 結合：學生模型逐步編輯自己生成的歷史，凍結的單輪教師則從原圖一次套用累積指示，提供分布層面的引導。參考真實編輯軌跡後，模型既要改善畫質，也要維持跨輪次內容關係。

以自身多輪輸出作為訓練歷史
引入單輪 DMD 改善視覺品質
用 Teacher-Forcing Guidance 減少誤差累積
展示最長十五輪及八輪編輯比較

官方程式碼要求 Python 3.11.13、NVIDIA CUDA GPU，以及指定 checkpoint、架構資源和擴充 U1.5 tokenizer；配置完成後，可在同一工作階段依序執行多個編輯提示。公開資料未交代完整硬件門檻、推理速度或標準化定量結果，因此較適合作為需要 NVIDIA GPU 的研究重現工具，而非直接比較成本已知的消費級服務。

它以 SenseNova-U1.5 作為相關基礎模型，並在多輪比較中加入 MT Forcing。對需要逐步修訂產品 concept、人物姿勢或場景細節的設計團隊，單輪教師可作品質參照。

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, 清華大學, 模型, 模型訓練, NVIDIA, Image, 影像模型, 框架, 工具, Python, Tokenize

GroundAnything 以並行解碼提升視覺定位速度

2026 年 10 月 13 日

GroundAnything 把多種視覺定位任務放進 4B 模型，嘗試同時處理精準座標與推理速度的取捨。

要在圖片中找出物件、位置和空間關係，GroundAnything 可一次處理多類 visual grounding 任務，減少逐個輸出座標帶來的延遲。它屬於 4B 級視覺基礎模型，實際處理的是影像內容與文字查詢之間的精準定位問題，適合影像標註、視覺搜尋及多模態分析工作流。

模型以 GroundAnything 的 diffusion decoding 配合 parallel decoding，讓空間假設可以並行生成；GroundAnything-VLM 則是獨立的 autoregressive checkpoint。前者針對序列生成的速度限制，後者保留自回歸模型路線，兩者均使用 GAM evaluation mode，並非同一模型的不同介面。

項目透過 grounding pretraining、AR-to-diffusion conversion、joint objectives、supervised fine-tuning 和 GRPO-based reinforcement learning 建立模型。30 個基準測試中，GroundAnything 勝過同級自回歸模型的整體最佳結果，亦超越較大的 Qwen3.7-Max；GroundAnything-VLM 在同級別取得新的整體最佳結果，並與 GPT-6 Astra 保持競爭力。

適合需要精準視覺定位、又要控制推理延遲的研究團隊和影像處理項目，硬件需求、實際吞吐量及不同圖片任務的穩定性仍需自行驗證。

速度取捨：以 diffusion decoding 和並行輸出減少空間預測的序列等待。
模型關係：GroundAnything 是 diffusion 路線，GroundAnything-VLM 是獨立 autoregressive checkpoint。
評估範圍：涵蓋 30 個 benchmarks，並比較 MTP-based generation 與多階段基礎設施優化。
適用場景：影像定位、批次標註、視覺搜尋及需要座標輸出的多模態工作流。

項目主頁 · GitHub

Categories: 開源, 香港大學, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, Image, 影像處理, 香港, 強化學習

GroundingPI 以 4B 視覺基礎模型連接感知與機械控制

2026 年 10 月 13 日

GroundingPI 把視覺定位轉成可供機械系統使用的點和框，主打複雜場景下的精準感知與控制效率。

要讓自動駕駛或機械人準確知道「要處理哪件物件、位置在哪裏」，單靠一般視覺語言模型仍可能在雜亂畫面和細小物件上失準。GroundingPI 屬於視覺 grounding foundation model，以 4B 參數模型處理定位問題，輸出可供後續控制使用的視覺結構。

模型以 visual primitives 為核心，將點和框表示成 shared vocabulary 中的 quantized coordinates，再配合 vision-language model、tokenizer、processor 和 custom model code。這種做法針對 VLA（vision-language-action）及 WAM（world-action models）常見的感知瓶頸，並讓 perceptual foundation 可以轉移到 autonomous driving 和 robotic manipulation。

定位方式：同時支援點與框，適合指定目標及描述空間位置。
模型規模：4B 參數，目標是在能力與運算成本之間取得平衡。
評測結果：涵蓋 34 個 grounding benchmarks、11 種感知能力，對比 44 個基準模型平均達 73.68%，高於 GPT-6 Astra 的 71.54%。
轉移價值：在 ID 和 OOD 評估，以及 action-data efficiency 方面，展示對自動駕駛和機械人操作的幫助。

對研究團隊而言，GroundingPI 不只是單次定位模型，亦可作為 System-1 foundation-model 的感知層，補足未必擅長精準 grounding 的通用視覺模型。項目提供 Hugging Face 模型及 Demo，並列出 vLLM、Transformers backend、OpenAI-compatible API 和 JSONL batch annotation 工作流；不過提供的儲存庫資料未交代完整硬件需求，部署前仍需按文件確認環境。

研究重點同時放在 pretraining scale 和 data composition 如何影響 grounding 及轉移效果。需要即時視覺定位、閉環控制或希望減少 action data 的自動駕駛、機械人及 embodied AI 團隊，會較容易從這個模型的感知能力受益；純文字或一般影像分類工作則未必能直接發揮其價值。

項目主頁 · GitHub · 模型

Categories: 開源, 香港大學, 香港科技大學, 北京大學, 清華大學, 模型, 視覺模型, 多模態模型, 模型訓練, API, Image, VLA, World-Action Model, Robotic, 香港, 庫, Tokenize

[技術文章] HARNESSSQL 讓 SQL 代理在真實資料庫中學習

2026 年 10 月 11 日

SQL 代理不再只需一次生成查詢，而是在可執行資料庫內探索、修正錯誤並完成任務。

面對陌生資料庫，SQL 代理往往要先查看 schema、檢查欄位和值，再執行試探查詢、分析錯誤，最後修訂並提交 SQL。HARNESSSQL（Harness-Native Training for SQL Agents in Realistic Database Environments）是一套面向這類互動流程的後訓練框架，針對模型訓練只學習「問題直接對應查詢」、但推理時才加入執行工具的落差作出修正。

傳統 Text-to-SQL 通常把資料庫視為靜態提示內容，難以涵蓋長時間、多回合的探索。HARNESSSQL 建立隔離且可執行的資料庫環境，配合隱藏的 execution oracles，讓教師模型直接在目標 SQL harness 內完成互動，並只保留經驗證的操作軌跡進行 full-sequence SFT，之後再以 execution reward 進行 RL。

項目的核心做法包括：
• 將 schema 檢查、工具呼叫、查詢執行及錯誤修正納入訓練流程
• 以 sandbox 控制資料庫狀態，保存結果與錯誤回饋
• 只使用可驗證的成功軌跡，減少錯誤示範干擾
• 讓模型適應 Spider 2.0-SQLite 的互動式任務

在 Spider 2.0-SQLite 上，Qwen3-8B 的 execution accuracy 由 15.5% 升至 45.2%，Qwen3-14B 則由 22.2% 升至 54.8%；訓練所得能力亦能轉移至 BIRD-Interact 和 LiveSQLBench。結果反映，資料庫代理要處理複雜工作流，訓練階段同步保留執行 harness，比只在推理階段補上工具更能縮小訓練與使用環境的差距。

Paper

Categories: 開源, 香港科技大學, 清華大學, Agentic, 模型, 模型訓練, Qwen, 微軟, 框架, 香港, 工具, 庫, 強化學習

UniWAM 把理解、預測與機械人動作合而為一

2026 年 10 月 9 日

UniWAM 以 8B 參數模型整合語意理解、視覺預測和動作生成，瞄準機械人操作中理解與執行脫節的問題。

面對需要理解指令、預測環境變化再控制機械人的任務，UniWAM 將三個步驟放進同一個 8B-parameter 模型，屬於結合世界模型與 Vision-Language-Action（VLA）的開源研究項目。它以 Mixture-of-Transformers（MoT）連接 physical reasoner、world generator 和 action predictor，讓三者透過 joint multimodal attention 交換資訊。

模型不只依賴機械人示範，預訓練亦混合 human egocentric data、robot data 及 visual question answering（VQA）資料，並把低層動作轉成自然語言，改善視覺語言能力與實體操作之間的銜接。Post-training 再加入 future visual noise augmentation，配合 history-conditioned flow matching，以較少 denoising steps 生成動作。

整合範圍： 同時處理 physical reasoning、視覺生成與動作預測
訓練訊號： 結合機械人、第一身人類視角及 VQA 資料
效率設計： 用動作歷史初始化生成流程，減少 denoising steps
硬件成本： RoboTwin 2.0 post-training 曾以 8 張 NVIDIA H100 GPU 執行 10 小時

GitHub 儲存庫提供 models/、train/ 和 utils/ 等模型與訓練程式，並附有 RoboTwin 2.0、LIBERO 及 LIBERO-plus 的資料處理和評估工具。Python 3.10、CUDA 兼容的 PyTorch 環境較適合測試，使用者可先以模擬器資料和配置檔驗證訓練或推理流程。

項目首頁宣稱 UniWAM 在 in-distribution、robustness、generalization 及 instruction following 等多項評估取得 SOTA，但儲存庫提供的資訊未列出完整分數和比較表。Bridge、DROID、Fractal 以及 real-world inference 明確不在今次發布範圍內，因此它較適合研究團隊測試統一式機械人模型，而不是即時接駁真實機械人的現成方案。

項目主頁 · GitHub · 項目

Categories: 開源, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 世界模型, 模型訓練, NVIDIA, VLA, Robotic, 香港, 工具, Python, 庫, Dataset 數據集

WorldSonus 為影片補上可互動立體聲音

2026 年 10 月 9 日

WorldSonus 將影片動態、文字指令和立體聲音同步起來，讓世界模型生成的畫面不再只有無聲場景。

影片中的腳步、流水和列車聲可以隨畫面變化，甚至在生成途中接受新的文字指令。WorldSonus 是一個影片轉音訊模型，處理世界模型和互動影片缺少同步聲音的問題，並以每 100 毫秒一段的方式生成 48 kHz 立體聲。

它採用 streaming causal autoregressive diffusion 架構，讓影片畫面經過兩種時間尺度的視覺 token 後，交由 AR transformer 和 rectified-flow head 生成音訊。生成模型、audio decoder、normalization statistics，以及凍結的 DINOv3 和 T5Gemma 2 視覺／文字編碼器分工合作；文字提示可在 chunk 邊界更新，同時保留聲音連續性。

• 支援離線生成和 streaming generation，兩者使用同一條三幀生成路徑
• Visual temporal differences、Ring-KV 歷史狀態和 causal decoder convolution states 會跨 chunk 保留
• 可用影片加提示詞控制聲音，也可只用影片作條件
• 輸出為 stereo 48 kHz 音訊，片段長度會按 100 毫秒 chunk 向下取整

研究結果給出的 real-time factor (RTF) 是 0.41，並在開放領域 video-to-audio benchmark 中達到或超越部分雙向模型的聲學質素和空間對齊表現。不過參考實作沒有承諾固定延遲，模型和編碼器亦要在串流開始前載入，不能直接把 RTF 當成使用者必然取得的端到端延遲。

測試需要 Python 3.10 或以上、支援 CUDA 的 GPU、FFmpeg 和 ffprobe，GPU 驅動程式要預先安裝；設定程序會安裝 CUDA 12.4 的 PyTorch wheels。模型權重和編碼器可從 Hugging Face 下載，適合研究世界模型、影片生成、互動模擬或需要空間聲音的內容製作團隊，但硬件要求和上游模型的授權／存取條件仍需先核對。

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, AI productions, 模型, 世界模型, NVIDIA, Gemini, Video, Audio, 提示詞, 香港, Python, Dataset 數據集

Page 1 of 8

1 2 3 … 8 Next »