模型訓練 – InferNews

SeMo3D：只重建指定區域，統一 3D 生成、編輯

2026 年 11 月 4 日

修改 3D 模型時，保留不需要改動的部分，可以減少整件資產重新生成造成的不一致。SeMo3D 將生成、編輯和補全整合到同一套選擇性建模流程，並支援文字、圖像與點雲引導。

修改模型的局部區域時，整件資產重新生成可能令原本不需更動的內容也走樣。SeMo3D 是一個 3D 生成與編輯模型項目，透過只合成指定區域、保留其餘部分，統一處理生成、編輯和缺失區域補全，適合需要維持模型其他部分一致的創作者及 3D 工作流程團隊。

它把三種任務視為同一個問題：選出要建立或修改的區域，並沿用其餘內容。生成時選取完整區域，編輯時選取目標區域，補全時則選取缺失區域；因此，模型不必為每項任務各自重新生成整件資產。訓練亦毋須成對的編輯或補全資料，研究團隊可從一般 3D 資源切分出選取區域與周邊內容來訓練。

訓練方法稱為 region-selective denoising，只在隨機選取、大小各異的區域加上雜訊並計算損失，讓同一模型共同學習三項任務。架構 Omni3DiT 是多條件 3D diffusion transformer，負責分辨需要建立與保留的區域，並融合圖像、文字和點雲引導，提供較細緻的控制。

SeMo3D 在三個基準測試中，於生成、編輯和補全各項任務均勝過當時的先進方法；生成支援多模態控制，編輯與補全則著重一致性及準確度。

一套模型統一 3D 生成、編輯與補全。
只合成指定區域，保留其餘內容。
以 region-selective denoising 從一般 3D 資源訓練，毋須成對編輯或補全資料。
Omni3DiT 融合圖像、文字與點雲引導。
支援以自然語言互動的 agentic 3D 建模。

項目主頁 · GitHub

Categories: 開源, 南京大學, Agentic, 模型, 多模態模型, 模型訓練, Image, Content Creator, 3D

Microsoft Mage-VL-Cowork：以 4B 模型兼顧影片理解與電腦操作

2026 年 11 月 4 日

Mage-VL-Cowork 是一個 4B 多模態模型家族涵蓋影片理解、影像生成和 GUI 電腦操作，並以較少視覺 token 處理長影片。當中 Mage-VL-Cowork 在 OSWorld-Verified 取得 66.0%。

要分析長影片、生成或編輯影像，甚至操作桌面程式，通常需要不同模型和工作流程。Microsoft Mage 把這些能力放進 4B 參數的多模態模型家族，供研究團隊進行受控實驗、後訓練研究及垂直領域應用；它屬於模型系列。

三個模型各有分工：Mage-VL 處理圖像與影片理解，Mage-Flow 負責影像生成和編輯，Mage-VL-Cowork 則在同一個策略模型內結合圖形介面、程式碼和終端機操作。這種混合式電腦操作讓模型可按任務選擇點擊畫面或執行程式碼，而不是交由外部協調器切換不同代理。

影片處理的主要取捨，是減少冗餘影格資訊，同時保留時間與動作線索。Mage-VL 從零訓練視覺堆疊，採用 16×16 的 I/P 預測式 patch 機制，將視覺 token 用量降至密集影格取樣的八分之一或更少；項目報告稱，這令影片訓練時間可延長至 8 倍，推理速度最高提升 3.5 倍。以固定的 4B Qwen3 骨幹比較，Mage-ViT 在所有已報告的影片及時間定位基準測試中勝過 Qwen3-VL-4B，但靜態圖像表現則大致相若。

OSWorld-Verified 的測試中，Mage-VL-Cowork 在 50 步預算下取得 66.0%；強化學習訓練帶來 10.16 個百分點提升，並令模型呼叫減少 13%、輸出 token 減少 25.4%。另一項實驗結果指出，Mage-VL 在 VSI-Bench 領先 11.0 分，顯示其優勢較集中於影片理解和空間智能。

研究人員可按任務選用相應模型與程式碼，測試影片理解、生成編輯或混合式電腦操作；Mage-VL-Cowork 的訓練流程亦涵蓋資料合成、監督微調與強化學習。適合有能力配置模型環境的研究團隊，以及探索有限算力多模態應用的開發者。

三個 4B 模型分別涵蓋圖像與影片理解、影像生成編輯、混合式電腦操作。
預測式 patch 機制減少影片視覺 token，換取更長訓練影片與較快推理。
Mage-VL-Cowork 在 OSWorld-Verified 以 50 步預算取得 66.0%，同時減少模型呼叫與輸出 token。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 多模態模型, 模型訓練, 微軟, Video, Image, 庫, 強化學習

[技術文章] 影片生成的背後故事：Kling 的多模態理解觀察與見解

2026 年 11 月 4 日

影片生成的瓶頸正由畫面渲染轉向語意控制。Kling 團隊拆解資料、提示、對齊與評估環節，說明如何令生成結果更貼合使用者意圖。

當影片生成要跟從複雜描述、維持人物與物件一致，單靠提升畫面品質並不足夠。Kling 團隊的技術報告聚焦多模態理解，分析資料、條件輸入、對齊和評估如何共同影響生成結果，適合關注可控影片生成的研究者與產品團隊參考。

研究以 Kling-MLLM 為共用基礎模型，處理圖片、影片、音訊、同步影音及交錯輸入，再按不同下游任務作專門調整。團隊指出，DiT 的訓練樣本遠少於語言模型，因此字幕不能只求流暢，而要作為高密度的語意契約；延伸出的 reference-grounded captioning，亦會明確標示描述與參考內容的對應關係。

提示詞增強負責把使用者意圖轉成生成模型較能處理的描述分佈。基本方法由優質影片字幕整理而成，再配合文字層面的強化學習及生成器迴圈微調；agentic prompt enhancement 則會進一步整理故事，並檢索具參考價值的例子。報告亦指出，可靠的 text encoder 需要感知訓練，單純提升語言能力並不足夠。

報告涵蓋的技術重點包括：
– 以共享多模態模型支援不同輸入形式及下游模組。
– 用高密度字幕和明確參考綁定，補足訓練語意與素材之間的連結。
– 以可解釋、能定位問題的通用 reward model，配合快速多維評分的 decision reward model。
– 設計任務專用自動評估，揭露評分捷徑，並協助追查上游失誤。

這套思路適合用於影片生成系統的資料整理、提示處理、模型對齊和品質診斷；團隊也強調，感知能力、描述品質與評估協定需要一併設計。內容屬於 Kling 團隊對其多代系統經驗的整理；提供的資料亦未列出可供外部讀者直接重現的完整流程。

Paper

Categories: Agentic, AI productions, 多模態模型, 視頻模型, 模型訓練, Video, Image, Audio, 提示詞, 強化學習

BYOD：用單張 GPU 將指令模型改造成雙向擴散模型

2026 年 11 月 3 日

BYOD 讓你從 Colab Notebook 選擇指令模型並進行訓練，再透過互動介面觀察逐步去噪生成；但快速模式不會重現論文分數。

BYOD 把指令模型轉成雙向遮罩擴散語言模型，讓模型生成文字時能逐步去噪，並在互動頁面即時查看生成變化。它是模型訓練工具，主要處理如何用單張 GPU 訓練這類模型；Colab Notebook 可選模型、啟動訓練及查看 loss 曲線，第 6 步會開啟可調整生成設定的推理介面。

使用方式分為 Colab 和本機兩條路徑：Notebook 會沿用 Colab 的 PyTorch、CUDA 套件，只在啟動推理介面時安裝 Gradio；本機訓練則需 NVIDIA GPU、Hugging Face 讀取權杖，並先接受受限模型的使用條款。本機推理網頁需安裝 .[demo] 套件。訓練資料會自動下載，手動中止時會保存 interrupted/，可載入該次結果繼續推理。

BYOD 以 LoRA 微調既有模型，而非從頭訓練；quick 模式採用較小模型和 rank-128 LoRA，適合先檢查流程，但不會重現論文分數。paper 模式使用 rank-1024 LoRA，原始訓練使用 96 GB 記憶體，對硬件要求高。兩種模式預設均訓練 25,000 次更新，訓練與驗證 loss 若出現 NaN 或無限值，程序會報錯並保留先前最佳 adapter。

Notebook 提供模型選擇、訓練和 loss 曲線檢視。
推理介面可調整生成設定，並即時查看去噪過程；也支援載入中斷訓練的結果。
可選 Llama、Gemma、Qwen 和 Ministral；各模型提供不同 quick 或 paper 配置，Ministral 只有 paper 配置。
評估在每個 checkpoint 執行，輸出只保留 best/；本機訓練要求 NVIDIA GPU，quick 模式不等同論文設定。

研究者和模型工程團隊可用它比較不同指令模型經擴散式訓練後的生成過程，也可先透過託管示範體驗已訓練模型。若目標是復現論文結果，應採 paper 配置並準備高記憶體 GPU；低資源測試則可用 quick 模式確認訓練流程。

GitHub

Categories: 開源, 模型, 模型訓練, Qwen, NVIDIA, Gemini, 工具, LLaMa, Python, LoRA

CoworkOS：2D/3D 網頁任務統一工作流

2026 年 11 月 3 日

複雜項目往往要跨多日推進，也需要人手覆核和中途調整。CoworkOS 讓 AI 代理接手分工與持續監察，並保留進度、記錄及待審核成果。

從研究、文件到 CAD 和 Blender，CoworkOS 讓人與 AI 代理在同一工作空間協作，處理需要多步推進、跨日跟進的工作。它屬於開源 AI 協作執行框架，目標是把任務由規劃、分工一路帶到可檢查的成果；長時間運行的 Jobs 會保留狀態和日誌，遇到等待或中斷後仍可接續處理。

代理工作分成三層：Main Agent 制定計劃、分派任務及檢查成果；Coordinator Runtime 負責派送子任務並追蹤進度；可選用的 Subagents 則執行範圍明確的工作。模型負責決定任務策略，執行環境則維持協調、回饋和工作連續性，避免把多代理協作的管理全交由模型自行處理。

CoworkOS 把 CLI、搜尋、檔案和 MCP 接到文件編輯器、簡報、CAD 與 Blender 等工具，人和代理可以共同修改文件、模型及場景。階層式工作空間和語意記憶用來延續項目脈絡；候選修改會保留版本資訊，讓人先檢查再整合。這種做法適合需要覆核、追蹤及中途改方向的團隊，但可用工具和模型服務的實際配合仍會影響工作流程。

研究團隊也可用同一套機制建立長期監察迴圈，例如分析模型失誤、改善訓練資料、執行訓練及驗證結果。配套研究報告記錄了 Qwen3.6-35B-A3B 經五輪後訓練後，在八個基準的平均分由 33.19 升至 42.95；這是特定實驗結果，各任務仍有升跌，不能直接視為其他模型或工作流程的保證。

Jobs 保留長時間任務的狀態與日誌，方便中斷後繼續監察。
Main Agent、Coordinator Runtime 和 Subagents 分別負責規劃、協調與執行。
人與代理可共同處理文件、簡報、CAD 模型及 Blender 場景。
候選修改可先經人手檢查，再整合到項目成果。

CoworkOS 面向使用 macOS 的研究人員及需要多工具協作的團隊，支援 Apple Silicon，並要求 macOS 14 或以上及 Node.js 22.19.0 或以上。儲存庫資料提及可透過 npm 安裝，亦提供文件、展示及即時示範連結，開始部署前，仍需查閱項目文件確認模型服務與工作空間的配置方式。

項目主頁 · GitHub

Categories: 開源, 北京大學, Agentic, MCP, 模型, 模型訓練, Qwen, 框架, 工具, Mac, 庫, 中國, 蘋果, Dataset 數據集

CUA-Master：把教學影片變成電腦操作訓練資料

2026 年 11 月 3 日

教學影片可以變成代理的操作練習，但仍要接駁沙盒。CUA-Master 串起任務挖掘、驗證與訓練資料製作。

把軟件教學影片轉成可驗證的操作任務，CUA-Master 這套框架協助團隊訓練電腦操作代理（Computer-use agents，CUAs）。它會按模型弱點補充任務，讓資料建構與模型改進互相帶動。

框架結合字幕語意與畫面變化重建操作軌跡，再抽取可重用的能力單元，控制新任務涉及的能力及應用程式數量。沙盒執行失敗後，可按回饋回復快照重試；已驗證軌跡可轉成 ms-swift 格式的監督式微調（Supervised Fine-Tuning，SFT）資料。

準備測試需要安裝依賴及接駁服務：

以可編輯模式安裝，加入 seeding、annotator、collection、dev 依賴。
複製 .env.example 為 .env，填入 API 金鑰及沙盒服務端點。
經 provider 介面接駁自己的沙盒後端，再按範例設定搜尋影片資料、下載選定影片；命令支援 –help。

官方公布 CUA-Master-27B 在 OSWorld Verified 得分為 80.2，在 OSWorld 2.0 為 36.9，兩者不可直接當成同一尺度比較。項目較適合有沙盒及訓練資源的代理研究團隊；提供的快速開始內容未完整展示後續流程，尚不足以照抄完成整條訓練流程。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, Agentic, AI productions, 模型, 模型訓練, API, Video, 框架, 教學, 軟件

387 篇獨特論文與資源，關於影片生成遇上 Harness

2026 年 11 月 3 日

想了解 AI 影片生成如何由單次生成走向規劃、互動和持續改進，這份研究索引整理了 387 篇論文與相關資源，並提供三條互補的閱讀路徑。

由創作影片、探索生成世界，到改進生成系統，研究者關心的問題各不相同。Awesome Agentic Video Generation 是一份論文與資源索引，整理 Agent harness 如何連接目標、工具、記憶、回饋與執行流程，協助讀者追蹤 Agentic Video Generation、Agentic World Modeling 和 Recursive Self-Improvement（RSI）相關研究。

三條閱讀路徑分別聚焦影片創作流程、生成世界中的行動與狀態，以及資料整理、模型訓練、評估和改進程序。它們代表不同研究情境，而非能力排名；同一項資源亦可能出現在多條路徑中，387 是去重後的總數。

索引收錄的題目涵蓋從創作簡報規劃影片、生成鏡頭和後期剪輯，到讓代理在生成世界中行動並維持狀態。例如 CutVerse 聚焦媒體後期剪輯的 GUI agents benchmark；CineAGI 探討以 LLM 編排多模態生成及跨場景整合。這些題目讓讀者可以按工作流程或研究問題尋找相關方向，但索引本身不代表每個項目都已證明具備 RSI。

創作：查找規劃、素材、鏡頭生成、剪輯與來源追蹤相關研究。
互動：追蹤動作條件影片、語意控制、狀態記憶及互動世界評估。
改進：了解資料、訓練、評估和 harness 改進如何支援未來的 RSI 研究。
延伸閱讀：資源連結通往論文或項目；整理者亦提供貢獻入口，方便提交新資源。

對研究者、影片生成系統開發團隊，以及需要快速掌握相關文獻的讀者，這份索引可作為分類閱讀的起點。它的價值在於整理與導覽，而非提供可直接執行的影片生成工具。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 多模態模型, 視頻模型, 模型訓練, Video, World-Action Model, 工具, Dataset 數據集

ReGap-Bench：視覺與推理分開評測

2026 年 11 月 3 日

模型看見物件，不代表能逐步追蹤它們。ReGap-Bench 用可配對的視覺參照，測出多模態推理究竟卡在哪裏。

模型明明看見圖中所有物件，數數時卻會重複計算；ReGap-Bench 是一個針對 multimodal large language models（MLLMs）的資料集與評測項目，專門檢查語言推理能否正確對應視覺中的物件、區域和位置，並將問題命名為 reference gap。

它把同一場景、問題和答案固定，只更換額外參照，形成 paired reference-intervention benchmark。編號讓物件可以被索引，陰影標示有界區域，網格線則協助定位、追蹤邊界和比較位移；參照是否配合任務，會直接影響推理結果。

涵蓋 shape counting、angle ranking、size ranking、clock ranking 和 transformation prediction 五項任務
共 200 個場景及 3,400 張圖片，設有 plain、numbering、shading 和 grid 條件
task-matched references 可令所有受測模型在所有任務提升，最高達 25%
mismatched references 幫助有限，甚至會令表現下降

測試可用 OpenAI、Google Gemini API，亦可透過 vLLM 執行 Qwen3.5；後者需要 GPU，API 模型則只需設定相應金鑰。Python 3.10 環境和 requirements 已列明，輸出會保存到 outputs，方便比較同一模型在不同參照條件下的差異。

ReGap-Bench 的價值不在於再加一個總分，而是把視覺感知和語言推理之間的接合問題單獨拉出來。結果支持一個務實判斷：改善模型未必只靠更強的視覺編碼器，為任務建立合適的外部視覺參照，也可能成為不需重新訓練的 visual skill；不過參照錯配會反過來干擾模型，因此它更適合研究團隊、MLLM 評測人員和需要分析多步視覺推理失誤的開發者。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, 模型, 多模態模型, 模型訓練, Qwen, Google, OpenAI, Gemini, API, Image, Python, Dataset 數據集, Skill 技能

GLOW-FM：單步提升低光影像質素

2026 年 11 月 3 日

GLOW-FM 把低光影像增強壓縮至一次網絡運算，兼顧生成質感與推理效率，適合資源有限的影像處理場景。

低光相片往往同時缺乏細節和自然色彩，逐步生成雖然有助改善觀感，卻增加運算成本。GLOW-FM 是一個低光影像增強（Low-Light Image Enhancement, LLIE）模型項目，透過一次網絡評估恢復影像，處理高質素與低延遲之間的取捨。

項目把影像先映射到緊湊的 latent space，再由輕量 Tiny-VAE 和 Hourglass Diffusion Transformer（HDiT）合作完成修復。HDiT 以 Terminal Velocity Matching（TVM）訓練，推理時只需一步；GLOW-FM-S 的公開規模為 34 GFLOPs 及 9.1M 參數，對邊緣裝置或需要批量處理的工作流程較有吸引力。

一次 function evaluation，避免傳統 diffusion 反覆採樣
在 LSD-DLL 等資料集展示具競爭力的影像質素
TVM 專門用於低光增強，並與其他單步目標作比較
跨資料集結果在比較方法中具較強泛化能力

GLOW-FM 延續曾於 NTIRE 2026 Low-Light Image Enhancement Challenge 取得第一名的 LFM-LLIE，但更集中處理效率與單步推理。儲存庫要求 Python 3.11 或 3.12，以及具 CUDA 支援的 PyTorch 環境；README 提供 setup.sh 和依賴安裝方向，但目前提供的資料未足以確認預訓練權重、完整推理指令或 CPU 執行方案。研究團隊、影像增強開發者，以及需要在 GPU 資源受限環境處理夜景相片的團隊，可先按其環境要求建立測試環境，再核對模型權重和推理流程。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, NVIDIA, Image, 影像處理, Python, 庫, Dataset 數據集

CodeSpecWeave：寫碼容易，了解需求才是關鍵

2026 年 11 月 3 日

CodeSpecWeave 將互相影響的軟件要求編織成可執行訓練任務，測試編程代理能否維持整體行為一致。

Paper pipeline: task and verifier synthesis, baseline check, solver trials, difficulty filtering, trajectory review, and repair followed by revalidation.

新增一項功能，可能同時改變狀態、介面、錯誤處理路徑和執行次序。CodeSpecWeave 是一個面向 Computer-use agents 的編程代理訓練與評測項目，處理的正是這類不能逐項解決的長流程編程工作，要求代理在同一份實作中兼顧互相牽動的限制。

項目建立更貼近真實軟體工程的任務，用來訓練與評估 AI 程式開發代理（coding agents）。它不是一般的寫程式工具或線上 IDE，而是一套「產生開發任務、建立驗證測試、訓練及評估 AI」的研究框架。

網站用交易分配功能作例子：AI 不只要依金額比例分配資源，還必須同時確保總量守恆、最低分配額、四捨五入順序穩定，以及保留舊版單一收款人的行為。某一項需求單獨看似做對，整個功能仍可能不符合規格。

CodeSpecWeave 因此刻意讓需求共享狀態、執行路徑及生命週期限制，測試 AI 能不能把整組約束一起處理，而不是只寫出局部正確的程式碼。

將獨立要求連結成 shared decision space
同時檢查功能語意、狀態一致性和介面兼容
以 executable tests 評估跨要求的聯合推理
涵蓋真實 repository 與保留作評測的工程任務

項目主頁

Categories: 北京大學, Agentic, 模型, 模型訓練, World-Action Model, 香港, 軟件, 編程, Dataset 數據集, 小米-Xiaomi

Page 1 of 38

1 2 3 … 38 Next »