北京大學 – InferNews

CoworkOS：2D/3D 網頁任務統一工作流

2026 年 11 月 3 日

複雜項目往往要跨多日推進，也需要人手覆核和中途調整。CoworkOS 讓 AI 代理接手分工與持續監察，並保留進度、記錄及待審核成果。

從研究、文件到 CAD 和 Blender，CoworkOS 讓人與 AI 代理在同一工作空間協作，處理需要多步推進、跨日跟進的工作。它屬於開源 AI 協作執行框架，目標是把任務由規劃、分工一路帶到可檢查的成果；長時間運行的 Jobs 會保留狀態和日誌，遇到等待或中斷後仍可接續處理。

代理工作分成三層：Main Agent 制定計劃、分派任務及檢查成果；Coordinator Runtime 負責派送子任務並追蹤進度；可選用的 Subagents 則執行範圍明確的工作。模型負責決定任務策略，執行環境則維持協調、回饋和工作連續性，避免把多代理協作的管理全交由模型自行處理。

CoworkOS 把 CLI、搜尋、檔案和 MCP 接到文件編輯器、簡報、CAD 與 Blender 等工具，人和代理可以共同修改文件、模型及場景。階層式工作空間和語意記憶用來延續項目脈絡；候選修改會保留版本資訊，讓人先檢查再整合。這種做法適合需要覆核、追蹤及中途改方向的團隊，但可用工具和模型服務的實際配合仍會影響工作流程。

研究團隊也可用同一套機制建立長期監察迴圈，例如分析模型失誤、改善訓練資料、執行訓練及驗證結果。配套研究報告記錄了 Qwen3.6-35B-A3B 經五輪後訓練後，在八個基準的平均分由 33.19 升至 42.95；這是特定實驗結果，各任務仍有升跌，不能直接視為其他模型或工作流程的保證。

Jobs 保留長時間任務的狀態與日誌，方便中斷後繼續監察。
Main Agent、Coordinator Runtime 和 Subagents 分別負責規劃、協調與執行。
人與代理可共同處理文件、簡報、CAD 模型及 Blender 場景。
候選修改可先經人手檢查，再整合到項目成果。

CoworkOS 面向使用 macOS 的研究人員及需要多工具協作的團隊，支援 Apple Silicon，並要求 macOS 14 或以上及 Node.js 22.19.0 或以上。儲存庫資料提及可透過 npm 安裝，亦提供文件、展示及即時示範連結，開始部署前，仍需查閱項目文件確認模型服務與工作空間的配置方式。

項目主頁 · GitHub

Categories: 開源, 北京大學, Agentic, MCP, 模型, 模型訓練, Qwen, 框架, 工具, Mac, 庫, 中國, 蘋果, Dataset 數據集

WaveForcing：讓多步影片生成每秒 134.8 幀

2026 年 11 月 3 日

WaveForcing 讓多段影片同步去噪，持續輸出畫面；高速度背後，仍要付出多張高階 GPU 的成本。

WaveForcing 讓影片不同片段同步去噪，毋須逐段完成才繼續。這套串流影片擴散方法在流水線填滿後，每輪前向運算便輸出一個片段，適合研究連續影片生成的團隊。

Wave Parallelism 讓各張圖形處理器（Graphics Processing Unit，GPU）持有完整模型，分工處理不同片段與去噪階段，而非拆開模型。較嘈雜的新片段可參考較乾淨的舊片段，Wave Runtime（WaveRT）則把資料傳送與運算重疊，減少等待。

WaveForcing-1.3B 提供 4-step、5-step 權重。
推理程式與 WaveRT 已開源。
快速開始範例採用八張 GPU，並非單卡配置。

測試環境已驗證 Python 3.12、PyTorch 2.11.0+cu128、SGLang diffusion runtime 及 Hopper GPU。準備測試須下載基礎模型與 WaveForcing 權重。

4-step 版本在八張 H200、832×480 解像度下，連同解碼達每秒 134.8 幀。這個結果展示多卡串流吞吐量，不能當作單卡速度或首幀延遲；硬件成本仍是採用門檻。

項目主頁 · GitHub · 模型

Categories: 開源, 北京大學, AI productions, 模型, 視頻模型, Video, Python, 中國

CodeSpecWeave：寫碼容易，了解需求才是關鍵

2026 年 11 月 3 日

CodeSpecWeave 將互相影響的軟件要求編織成可執行訓練任務，測試編程代理能否維持整體行為一致。

Paper pipeline: task and verifier synthesis, baseline check, solver trials, difficulty filtering, trajectory review, and repair followed by revalidation.

新增一項功能，可能同時改變狀態、介面、錯誤處理路徑和執行次序。CodeSpecWeave 是一個面向 Computer-use agents 的編程代理訓練與評測項目，處理的正是這類不能逐項解決的長流程編程工作，要求代理在同一份實作中兼顧互相牽動的限制。

項目建立更貼近真實軟體工程的任務，用來訓練與評估 AI 程式開發代理（coding agents）。它不是一般的寫程式工具或線上 IDE，而是一套「產生開發任務、建立驗證測試、訓練及評估 AI」的研究框架。

網站用交易分配功能作例子：AI 不只要依金額比例分配資源，還必須同時確保總量守恆、最低分配額、四捨五入順序穩定，以及保留舊版單一收款人的行為。某一項需求單獨看似做對，整個功能仍可能不符合規格。

CodeSpecWeave 因此刻意讓需求共享狀態、執行路徑及生命週期限制，測試 AI 能不能把整組約束一起處理，而不是只寫出局部正確的程式碼。

將獨立要求連結成 shared decision space
同時檢查功能語意、狀態一致性和介面兼容
以 executable tests 評估跨要求的聯合推理
涵蓋真實 repository 與保留作評測的工程任務

項目主頁

Categories: 北京大學, Agentic, 模型, 模型訓練, World-Action Model, 香港, 軟件, 編程, Dataset 數據集, 小米-Xiaomi

DirCast-code：AI 同時導播與解說，直播一手包辦

2026 年 10 月 26 日

DirCast 每秒查看 Dota 2 十名英雄的鏡頭，自行選擇播出畫面並配上解說。它把導播與主播工作交給同一個模型，但目前評估仍集中於有限的職業賽事。

直播觀眾看到的畫面和聽到的解說，通常由導播與主播共同決定；DirCast 嘗試讓 AI 每秒查看十名英雄的原始鏡頭，選出播出畫面，再按該畫面決定何時發言及說甚麼。這個研究型工具以 Dota 2 賽事為場景，處理的是如何在比賽仍在進行時，同步完成選鏡和解說，而非只替已剪好的直播影片配音。

DirCast 使用單一串流影片語言模型 Qwen3-VL-8B，並以 LoRA 微調。模型先低解像度掃描各英雄鏡頭及遊戲狀態，再由導播模組決定維持現有畫面或切換；選中的鏡頭會再以高解像度讀取，供發言判斷和文字生成。這種安排把全場掃描與播出畫面的細節理解分開，也讓模型的解說跟隨自己選出的畫面。

模型不會永久保留所有低解像度鏡頭：這些畫面只在設定的時間窗內留在上下文，播出畫面、事件和已生成的說話則會保留，令處理長賽事時的上下文成本受控。訓練時加入受擾動的播出流程，讓模型練習從自己選錯鏡頭後恢復；事件標記則協助它把擊殺等值得呈現的時刻納入選鏡考量。控制切鏡與發言的門檻亦會按頻率調節，避免節奏過密。

研究資料集包含 27 場職業 Dota 2 比賽，記錄每名英雄的鏡頭、人類導播選擇及主播解說。示範涵蓋兩場留出比賽，展示模型切到鏡頭外發生的交戰並作出評論；但這些例子不足以證明它已能應付不同遊戲、直播延遲或長期穩定運作，現階段較適合研究團隊測試自動化直播製作，而非直接取代真人轉播團隊。

每秒掃描十路英雄鏡頭，並自行選擇播出畫面。
同一模型負責導播決策、發言時機及解說文字。
低解像度畫面會過期，播出內容與事件記錄則留在上下文。
訓練資料來自 27 場職業 Dota 2 比賽，公開示範展示兩場留出賽事。

GitHub 儲存庫提供模型、資料處理與賽事狀態相關程式碼；研究人員可據此檢視流程或測試模型。儲存庫資訊未列出完整安裝步驟、硬件需求或可直接重現的評估指標，因此部署成本與相對真人導播、主播的穩定差距，仍需更多測試才能判斷。

項目主頁 · GitHub

Categories: 開源, 北京大學, AI productions, 模型, 模型訓練, Qwen, OpenAI, Video, 工具, 庫, Dataset 數據集, LoRA

[技術文章] TextVerifier 補上中文生成文字的結構缺口

2026 年 10 月 16 日

生成中文字，常見會多一劃或少一筆；TextVerifier 專門找出這類 OCR 容易漏掉的錯誤。

生成圖片中的中文句子看似正確，單一字元卻可能多一劃、少一筆或部件變形，令出版、教育等不能出錯的場景無法採用。TextVerifier 把問題定義為有目標條件的文字渲染驗證：給定指定字元與圖片裁剪區，判斷兩者是否真正一致。

現有做法通常重用 OCR 或一般 vision-language models（VLM）評分。這些模型以辨認內容為目標，會刻意忽略字型、模糊和結構變化；中文錯字往往仍能被讀成原本字元，反而令最關鍵的筆畫及部件錯誤被放過。TextVerifier 改用字元的 Ideographic Description Sequence（IDS）作為文字端輸入，讓模型比較目標字的結構，而不只辨認符號。

訓練資料包括 1,270 萬組 crop–IDS 配對，以及從文字區域 inpainting 模型訓練過程抽取的「同字不同質素」hard pairs。團隊亦建立 TEXTRENDERBENCH-ZH，逐字標註位置、身份與正確性，涵蓋 7,358 個生成中文字元。

• TextVerifier F1 為 0.844，高於 OCR confidence 的 0.526、一般 VLM 的 0.329 及 TextPecker 的 0.590。
• 驗證單位由整段文字下沉至單一字元，能捕捉局部筆畫與部件錯誤。
• 分數可用作 Flow-GRPO post-training 的 per-character reward，協助生成模型減少渲染錯誤。
• 適合需要逐字校驗的海報、教材、出版物及其他中文圖像生成工作流。

結果顯示，文字辨認和文字正確性驗證並不是同一項能力。TextVerifier 目前聚焦中文字符結構，對需要零錯誤輸出的場景更有針對性，但其成效仍取決於生成模型、字體風格及圖片品質。

Paper

Categories: 北京大學, 阿里巴巴, Image, 中國, Dataset 數據集

Doc2Harness：測試模型能否造出真正可用的 Coding Agent

2026 年 10 月 16 日

Doc2Harness 不只測模型識唔識寫程式，還把整套 Coding Agent harness 交由模型建造，再以黑盒方式驗證是否真的運作。

當 Coding Agent 要處理長時間、多步驟工作，成敗不只取決於模型本身，還取決於工具呼叫、權限、工作階段、復原流程和整個執行迴圈。Doc2Harness 是一個評測基準，專門處理模型能否按照開發文件和介面骨架，建造完整 Coding Agent harness 的問題。

項目分成兩個階段：第一階段由 build model 在隔離容器內透過 OpenCode 實作 harness；第二階段會凍結成果，再放到另一個容器，由 scripted mock model 端到端驅動。評分不接受 harness 自己聲稱完成任務，而是讀取四個可觀察渠道：傳給模型的請求、磁碟檔案、程序 exit code，以及 command output；positive controls 亦會阻止空殼實作取得通過結果。

測試範圍：完整基準包含 328 個 test cases，公開儲存庫只提供 94 個 scenarios，包括 53 個評分案例和 41 個 positive controls。
模型差距：完整套件涵蓋 19 個 frontier models，最佳模型通過率為 53.05%，最低約 27.4%。
可重現限制：排行榜數字來自完整套件，不能只用公開子集重現。
執行條件：需要 Python 3.11+、Docker，依賴採用 Python standard library；完整 catalog 在 concurrency 12 下約需 25 至 90 秒。

這項目直接把 harness engineering 本身納入評測。結果亦反映模組拆分並非必然帶來好處：在控制程式碼大小後，module count 與通過率呈負相關，相關係數為 -0.423；同一模型在 direct drive 和 permissions 等場景的排名也可能大幅變動，顯示權限及工具編排是獨立而關鍵的能力。

Doc2Harness 適合研究 Coding Agent、模型評測和 agent infrastructure 的團隊，用來比較模型建造長流程工具系統的能力，亦可協助定位 harness 在請求流程、檔案操作、程序控制或復原機制上的失敗位置。

項目主頁 · GitHub

Categories: 開源, 北京大學, 清華大學, Agentic, 模型, Vibe Coding, 工具, Python, 庫, 編程, Anthropic, Dataset 數據集

LensErase 超精確移除物件，水印

2026 年 10 月 14 日

只需圖片與 mask，LensErase 便可移除物件、文字或水印，再按周圍內容補回較自然的畫面。

移除圖片中的水印、文字或多個物件時，難處往往不在於遮走目標，而是要同時處理陰影、反光及原本被遮住的背景。LensErase 以 foundation model 形式處理這類影像擦除工作，輸入一張圖片和一個 mask，輸出清理後的結果，適合海報整理、圖片修復及內容再利用等場景。

項目配套的 LensErase-100M 包含 101.07M 組對齊的 input–mask–target 三元組，涵蓋一般圖片、水印、大範圍 mask、視覺文字及海報五類資料，另有 140K 組 SFT samples 和 19K 組 RL samples。高解析度資料會由 GPT-5.6 Sol 檢查 mask 有效性、編輯正確性、重建效果及非目標內容保留程度。

LensErase-Bench 收錄 500 個案例，毋須指定唯一的 ground-truth target，改以 Removal、Inpainting、Preservation 和 Cleanliness 四個維度評估，當中完整移除目標及相關效果佔總分 40%。較貼近擦除任務的實際情況，因為同一個遮罩可能存在多個合理的背景補全方案。

支援物件、視覺文字、水印及其相關效果的移除
以 LensErase-100M 支援 pretraining、SFT 及 RL
以 LensErase-Bench 評估移除、補全、保留和畫面潔淨度
提供與 GPT-Image2.5-Sunburst、Flux2-Erase 及多個開源模型的比較
頁面目前只表示 Code coming soon，未提供安裝、下載或使用流程

項目展示了跨場景和多物件擦除能力，亦包括海報及反射等較複雜案例。對需要批量清理素材、保留非目標結構的影像工作流；不過使用者仍需等待程式碼及更多可重現資料。

項目主頁

Categories: 開源, 北京大學, 模型, 模型訓練, 微軟, OpenAI, Stable Diffusion, Image, Dataset 數據集, 強化學習

GroundAnything 以並行解碼提升視覺定位速度

2026 年 10 月 13 日

GroundAnything 把多種視覺定位任務放進 4B 模型，嘗試同時處理精準座標與推理速度的取捨。

要在圖片中找出物件、位置和空間關係，GroundAnything 可一次處理多類 visual grounding 任務，減少逐個輸出座標帶來的延遲。它屬於 4B 級視覺基礎模型，實際處理的是影像內容與文字查詢之間的精準定位問題，適合影像標註、視覺搜尋及多模態分析工作流。

模型以 GroundAnything 的 diffusion decoding 配合 parallel decoding，讓空間假設可以並行生成；GroundAnything-VLM 則是獨立的 autoregressive checkpoint。前者針對序列生成的速度限制，後者保留自回歸模型路線，兩者均使用 GAM evaluation mode，並非同一模型的不同介面。

項目透過 grounding pretraining、AR-to-diffusion conversion、joint objectives、supervised fine-tuning 和 GRPO-based reinforcement learning 建立模型。30 個基準測試中，GroundAnything 勝過同級自回歸模型的整體最佳結果，亦超越較大的 Qwen3.7-Max；GroundAnything-VLM 在同級別取得新的整體最佳結果，並與 GPT-6 Astra 保持競爭力。

適合需要精準視覺定位、又要控制推理延遲的研究團隊和影像處理項目，硬件需求、實際吞吐量及不同圖片任務的穩定性仍需自行驗證。

速度取捨：以 diffusion decoding 和並行輸出減少空間預測的序列等待。
模型關係：GroundAnything 是 diffusion 路線，GroundAnything-VLM 是獨立 autoregressive checkpoint。
評估範圍：涵蓋 30 個 benchmarks，並比較 MTP-based generation 與多階段基礎設施優化。
適用場景：影像定位、批次標註、視覺搜尋及需要座標輸出的多模態工作流。

項目主頁 · GitHub

Categories: 開源, 香港大學, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, Image, 影像處理, 香港, 強化學習

GroundingPI 以 4B 視覺基礎模型連接感知與機械控制

2026 年 10 月 13 日

GroundingPI 把視覺定位轉成可供機械系統使用的點和框，主打複雜場景下的精準感知與控制效率。

要讓自動駕駛或機械人準確知道「要處理哪件物件、位置在哪裏」，單靠一般視覺語言模型仍可能在雜亂畫面和細小物件上失準。GroundingPI 屬於視覺 grounding foundation model，以 4B 參數模型處理定位問題，輸出可供後續控制使用的視覺結構。

模型以 visual primitives 為核心，將點和框表示成 shared vocabulary 中的 quantized coordinates，再配合 vision-language model、tokenizer、processor 和 custom model code。這種做法針對 VLA（vision-language-action）及 WAM（world-action models）常見的感知瓶頸，並讓 perceptual foundation 可以轉移到 autonomous driving 和 robotic manipulation。

定位方式：同時支援點與框，適合指定目標及描述空間位置。
模型規模：4B 參數，目標是在能力與運算成本之間取得平衡。
評測結果：涵蓋 34 個 grounding benchmarks、11 種感知能力，對比 44 個基準模型平均達 73.68%，高於 GPT-6 Astra 的 71.54%。
轉移價值：在 ID 和 OOD 評估，以及 action-data efficiency 方面，展示對自動駕駛和機械人操作的幫助。

對研究團隊而言，GroundingPI 不只是單次定位模型，亦可作為 System-1 foundation-model 的感知層，補足未必擅長精準 grounding 的通用視覺模型。項目提供 Hugging Face 模型及 Demo，並列出 vLLM、Transformers backend、OpenAI-compatible API 和 JSONL batch annotation 工作流；不過提供的儲存庫資料未交代完整硬件需求，部署前仍需按文件確認環境。

研究重點同時放在 pretraining scale 和 data composition 如何影響 grounding 及轉移效果。需要即時視覺定位、閉環控制或希望減少 action data 的自動駕駛、機械人及 embodied AI 團隊，會較容易從這個模型的感知能力受益；純文字或一般影像分類工作則未必能直接發揮其價值。

項目主頁 · GitHub · 模型

Categories: 開源, 香港大學, 香港科技大學, 北京大學, 清華大學, 模型, 視覺模型, 多模態模型, 模型訓練, API, Image, VLA, World-Action Model, Robotic, 香港, 庫, Tokenize

UniWAM 把理解、預測與機械人動作合而為一

2026 年 10 月 9 日

UniWAM 以 8B 參數模型整合語意理解、視覺預測和動作生成，瞄準機械人操作中理解與執行脫節的問題。

面對需要理解指令、預測環境變化再控制機械人的任務，UniWAM 將三個步驟放進同一個 8B-parameter 模型，屬於結合世界模型與 Vision-Language-Action（VLA）的開源研究項目。它以 Mixture-of-Transformers（MoT）連接 physical reasoner、world generator 和 action predictor，讓三者透過 joint multimodal attention 交換資訊。

模型不只依賴機械人示範，預訓練亦混合 human egocentric data、robot data 及 visual question answering（VQA）資料，並把低層動作轉成自然語言，改善視覺語言能力與實體操作之間的銜接。Post-training 再加入 future visual noise augmentation，配合 history-conditioned flow matching，以較少 denoising steps 生成動作。

整合範圍： 同時處理 physical reasoning、視覺生成與動作預測
訓練訊號： 結合機械人、第一身人類視角及 VQA 資料
效率設計： 用動作歷史初始化生成流程，減少 denoising steps
硬件成本： RoboTwin 2.0 post-training 曾以 8 張 NVIDIA H100 GPU 執行 10 小時

GitHub 儲存庫提供 models/、train/ 和 utils/ 等模型與訓練程式，並附有 RoboTwin 2.0、LIBERO 及 LIBERO-plus 的資料處理和評估工具。Python 3.10、CUDA 兼容的 PyTorch 環境較適合測試，使用者可先以模擬器資料和配置檔驗證訓練或推理流程。

項目首頁宣稱 UniWAM 在 in-distribution、robustness、generalization 及 instruction following 等多項評估取得 SOTA，但儲存庫提供的資訊未列出完整分數和比較表。Bridge、DROID、Fractal 以及 real-world inference 明確不在今次發布範圍內，因此它較適合研究團隊測試統一式機械人模型，而不是即時接駁真實機械人的現成方案。

項目主頁 · GitHub · 項目

Categories: 開源, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 世界模型, 模型訓練, NVIDIA, VLA, Robotic, 香港, 工具, Python, 庫, Dataset 數據集

Page 1 of 5

1 2 3 … 5 Next »