開源 – Page 44 – InferNews

Qwen-Video-Edit：開源影片編輯模型

2026 年 8 月 19 日

它把文字指令式影片編輯做得更直接，透過現成的 image editing model 去改寫影片 latent。對需要長片段、分段修改同一條影片的工作流，會比重起一套 video transformer 更省力。

Qwen-Video-Edit 是一個 instruction-based video editing 項目，核心做法是把 Qwen-Image-Edit 直接搬去處理影片 latent，再用兩個可訓練 projection 接上 Wan 2.1 的 video-VAE。這樣做的價值很清楚：不用再依賴 video-pretrained transformer，也能按文字指令改影片內容。

安裝和測試路線已經整理得相當明確。train.py 走單機多 GPU 訓練，infer.py 負責長影片逐段編輯與 Wan 2.2 denoising-enhancement，dataset.py 則讀取 Ditto 格式的 source、edited、instruction 配對。

和一般影片編輯方法相比，差異在於它不是從頭學影片理解，而是借用影像編輯模型的先驗，再用 warm-started projections 與 grid positional encoding 去補上時間維度。這代表訓練成本和架構複雜度較低，但限制也在於效果仍仰賴 Wan 2.1 latent 空間、Ditto-1M 資料，以及後段 enhancement。

支援 LoRA 或 full fine-tuning，取捨在訓練成本與自由度之間
長影片可以分段套用不同指令，適合剪接、局部修改、旁白對齊內容
輸出 checkpoint 以 trainable-weights-only .safetensors 形式提供，載入流程較直接
另有 zero-training demo，可先看 image-grid 與 latent-grid 編輯行為
模型權重已公開，方便直接做復現或二次改造

項目主頁 · GitHub · 模型

Categories: 開源, 視頻模型, 模型訓練, Qwen, Video, Image, 影像模型, Dataset 數據集

MiniMax H3 整合成單一節點，ComfyUI 剪走繁瑣接線

2026 年 8 月 19 日

把 MiniMax H3 的影片流程收成一個節點，省去搭工作流和找模組的時間。它更像一個整合入口，讓生成、延伸、關鍵幀同音訊驅動集中處理。

在 ComfyUI 裡要跑 MiniMax H3 影片流程，最麻煩往往不是模型本身，而是工作流太碎。ComfyUI-ALLinONE-MinimaxH3 把這套流程收成單一節點，屬於 ComfyUI 的工具項目，目標是把文字生成影片、圖片轉影片、參考圖驅動、音訊帶動嘴型同影片延伸放進同一個入口。

安裝方式很直接：放入 ComfyUI/custom_nodes/ 後重啟 ComfyUI，再在畫布搜尋 ALL in ONE MiniMaxH3。項目主打幾個模式，包括 Image、T2V、I2V、R2V、Audio Drive、Keyframes、Extend 同 Chain，實際用法是先揀模式，再輸入 prompt 或參考素材，由節點接管後續流程。

官方 MiniMax H3 原生工作流、ComfyUI-H3-Motion-Context-MultiRef、MiniMax H3 Turbo pack，同埋 H3 Studio 的圖片模式都被包進同一個介面，對需要反覆試片段、接續鏡頭、處理多參考素材的影片製作流程特別實用。

支援 T2V、I2V、R2V、Audio Drive、Keyframes、Extend、Chain
Chain 用 H3 Motion Context 做多段續接，走 latent path，避免重新編碼
內建歷史、收藏同預覽，方便回看 prompt 同結果
亦有 RTX / Seed2VR Video Super Resolution 的 upscale 接口
作者標明仍屬 Beta，兼容性要跟指定版本和模型清單對齊

目前較適合已經在 ComfyUI 裡做影片生成、又不想每次重砌圖的人。官方工作流仍然是底層來源，呢個項目更像把常用路徑包成一個操作面，方便快速試片、改參考圖同續接片段。

GitHub

Categories: 開源, ComfyUI, 視頻模型, Video, Image, Audio, MiniMax

demystify-agent-skills：Agent Skills 點樣幫到代理，又會喺邊度失手

2026 年 8 月 19 日

呢個研究項目唔係再做一個新 agent，而係拆解 Agent Skills 真正幫緊乜、又會喺邊一步開始失靈。這項目讓你會更易判斷技能封裝值唔值得放入自己嘅自動化流程。

當你想將一段成功經驗整理成可重用指引，最麻煩唔係有冇記錄，而係代理之後會唔會真係拎啱、用得啱。demystify-agent-skills 係一個研究型程式碼項目，圍繞 Agent Skills、Workflow Memory 同 raw trajectories 做受控比較，集中處理代理經驗應該點樣封裝，先至更有機會幫到後續任務。

佢吸引嘅地方不只是話「技能有用」，而係拆開幾層去驗證。相同來源經驗同相同目標任務之下，Skill 成功率有 61.9%，高過 Workflow Memory 嘅 55.9%，差距係 6.06 個百分點；但增益主要來自 procedural anchoring，佔 65.7%，唔係靠明示成功或失敗標籤去灌輸知識。

同一批 agent trajectories 會被整理成 raw、Workflow Memory 同標準化 SKILL.md，再放返去同一類 target tasks 測試
retrieval、agent selection 同 real execution 係分開檢查，唔當成單一路徑
skill pool 由 5 增加到 100 時，embedding top-1 precision 由 88.3% 跌到 76.9%
parsed actual-use precision 會由 29.6% 進一步跌到 3.3%，但 downstream success 仍大致維持喺 36% 至 39%

「識得檢索」同「真係用對技能」原來係兩回事。項目指出 invocation 本身會帶來新失敗邊界：Skill 案例入面，有 10.0% 係誤用或者忽略技能指引，明顯高過 Raw 嘅 0.8% 同 Workflow Memory 嘅 0.4%。換句話講，技能格式改善咗執行穩定度，卻同時引入另一個決策風險。

呢個項目較適合研究 Agentic workflow、做 AI agent 評測，或者想建立可重用 skill library 嘅團隊重現。並非安裝一個即用產品，而係沿住 raw traces、matched artifacts、retrieval diagnostics 同 target task evaluation 去重跑實驗；對正在設計 Computer-use agents、CUAs 或其他多步代理流程嘅人，呢份分析比單看總成功率更有參考價值。

項目主頁 · GitHub

Categories: 開源, Agentic, Embedding, 庫, Skill 技能

EditBridge 更穩定的4K 影像編輯

2026 年 8 月 19 日

EditBridge 把低解析度編輯和高解析度修復接起來，避免放大時細節走樣。它適合要保留原圖紋理、文字和結構的影像編輯流程。

EditBridge 是一個影像編輯框架，目標很直接：在 1K 到 4K 的高解析度輸出下，仍然保住原圖細節，而不是放大後再補出一堆不一致的紋理。它把粗編輯結果先交給 diffusion bridge 再修復，讓高解析度原圖繼續參與推理，不用把整張圖重生成一次。

和常見做法相比，它的取捨在於把「補細節」改成「沿著已對齊的內容做橋接」。核心做法是 PG-BSA（prior-guided block-wise sparse attention），用先前編輯階段的對應關係去挑選需要看的區塊，減少密集全局注意力帶來的成本，同時降低高頻細節失真。

倉庫已經交代了基本使用路線：先建立 Python 環境，再安裝項目，下載 Qwen-Image-Edit-2509 checkpoint，之後用 CSV 準備 source_image、target_image、condition_image 和 prompt。訓練時還要先抽取 target-to-source correspondences，1K、2K 與 4K 的流程分開處理，4K 版本則透過降低記憶體消耗來跑。

這套方法較適合做高解析度修圖、產品圖改寫、海報文字修正，或者任何不能接受放大後失真、塗抹感太重的工作流。它的評估重點也很清晰：在 1K 到 4K 的 reconstruction 和 perceptual metrics 都維持領先，推理時間比直接高解析度生成和傳統 diffusion 超解析度方案更實用。

保留原始高解析度 source 作為條件，減少細節漂移
用 coarse edit 接 diffusion bridge，再做高解析度修復
PG-BSA 透過區塊級稀疏注意力控制計算量
1K、2K、4K 都有對應訓練流程
適合重視文字、邊緣、紋理一致性的編輯任務

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Qwen, Image, Python

Agent Lightning v1.0：把代理訓練接回真實工具流

2026 年 8 月 19 日

Agent Lightning v1.0 讓代理在保留工具、上下文和環境的情況下直接訓練。它也把 Kubernetes、程式編寫和獎勵防作弊流程一併整合起來。

Agent Lightning v1.0 針對一個常見卡位：代理訓練往往要靠額外沙箱或改寫流程，令工具、控制流和環境脫節。這個項目把訓練直接接回真實 agent harness，代理可以經由 Agent Lightning v1.0 proxy 運作，而不用改動原本架構。

它的設計取向相當清晰，核心程式碼大約 3,500 行，重寫後把複雜度壓低。代理亦可直接作為 Kubernetes Jobs 執行，不必依賴外部 sandbox 服務，對要跑長時間 rollout 或分散式訓練的團隊會方便很多。

文檔同時提供完整的 coding-agent 訓練流程，涵蓋資料清理、reward-hacking 防護和訓練腳本。這代表它不只停留在概念層面，而是把一條可落地的訓練管線交到使用者手上。

保留工具、上下文、控制流和環境在訓練迴圈內
透過 proxy 接入現有 agents，減少改動成本
原生支援 Kubernetes Jobs，部署更直接
提供 coding agent 範例，連資料清理和防作弊流程都包進去
適合做具互動工具、程式執行或多步推理的 agent 訓練

項目主頁

Categories: 開源, Agentic, 模型訓練, 微軟, DeepSeek, API, Vibe Coding, Python, 編程

GRNEdit 用少量參數做通用影片編輯

2026 年 8 月 18 日

想改影片風格、背景或局部內容，又唔想整段重生成，GRNEdit 提出一條較慳參數的路線。它把可編輯範圍先用 binary evidence 拆清，再逐步細修畫面。

一段影片要改風格、換背景、刪走局部人物，最難通常唔係生成新畫面，而係改得準之餘，原本動作、主體身份同未編輯部分都要保持穩定。GRNEdit 屬於影片編輯框架，處理的正是這類通用影片編輯問題，而且走的是 Generative Refinement Networks 配合 binary evidence 的路線，不是靠大幅加參數去硬推效果。

GRNEdit 先用 binary evidence 分開哪些區域應該被改、哪些內容要盡量維持，之後再沿住 refinement 過程逐步生成目標語意、結構同細節。這樣做的取捨，在於它把編輯能力壓縮到相當輕量的增量上；公開資訊表示，相對 GRN backbone 只增加少於 3% 額外參數，但聲稱可跟領先的影片編輯模型競爭。

從示例看，GRNEdit覆蓋 global style、背景替換、local removal、加入新元素，以及移除字幕等多種任務，重點不是單一特效，而是同一套框架處理不同編輯指令。較適合研究影片生成、內容製作流程，或者想把多種編輯模式收斂到同一模型系統的團隊參考；不過目前公開內容仍以推理程式碼和預印本為主，training code 與 model weights 都未提供，部署與重現門檻仍然存在。

以 binary evidence 先界定可編輯範圍，再逐步 refinement
相對 GRN backbone，只需少於 3% 額外參數
同一框架支援風格化、換背景、移除、添加與複合編輯
公開資料主打推理與結果展示，完整訓練與權重尚未釋出

模型權重暫未開放，但有足夠資訊足夠理解它的方法定位。對關注影片編輯模型的人來說，GRNEdit最有意思的地方，是它把「改動範圍判定」放到生成前段處理，嘗試用更小的參數成本換取更穩定的時序保留與更通用的編輯能力。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 視頻模型, 模型訓練

MOSS-VL 多模態模型系列，致力於實時視覺理解。

2026 年 8 月 18 日

MOSS-VL 針對直播式影片理解而來，讓模型邊看邊答，不再只靠看完才回應。它同時提供即時、離線與基礎三個版本，適合不同工作流。

MOSS-VL 是一組 video-language model，核心解法是把長影片理解從「先看完再回答」改成連續影片流上的即時對話。MOSS-VL-Realtime 會在收到新畫面時同步做感知與文字生成，遇到資訊不足時還會先保持沉默，等場景有變化再回應，這比一般離線影片模型更貼近直播、監控和互動式分析的需要。

項目的三個版本分工清楚：MOSS-VL-Realtime 主打串流互動，MOSS-VL-Instruct 偏向離線長影片理解與深入對話，MOSS-VL-Base 則提供可再訓練的基礎表示。三者都屬於 11B 參數的 open-weight 模型系列，架構上採用 unified cross-attention，重點不是單純堆大，而是把影片、問題和回答放進同一條流裡處理。

支援任意時間點提問，適合直播解析、即時巡檢與互動式看片
會主動等待關鍵事件，再決定是否開口，減少過早下結論
新畫面一到就可修正先前回答，較適合連續變化的場景
MOSS-VL-Instruct 適合長影片分析，MOSS-VL-Base 適合延伸訓練
官方資訊有 Hugging Face、ModelScope、Web demo 與論文連結，但原始資料未提供完整本地安裝流程

同類做法多數仍是離線式理解，先把影片看完才輸出答案；MOSS-VL-Realtime 則把回應插進觀看過程，連延遲和中途修正都納入設計。這種取捨對需要即時判讀的團隊更實用，尤其是做影音監察、現場助理、互動式多模態應用，或要在長影片上做持續問答的情境。

項目主頁 · GitHub · 模型

Categories: 開源, 視覺模型, 多模態模型, Video

HarnessEval-W 讓世界模型評測留下可核查推理鏈

2026 年 8 月 18 日

世界模型評測不再只給一個分數，HarnessEval-W把每次判斷拆成可追溯的證據樹，讓物理與因果錯誤更容易核對。

當世界模型生成一段互動場景，真正難判斷的往往不是畫面是否漂亮，而是物理、因果和世界狀態有沒有隨行動正確演變。HarnessEval-W 屬於開源的 agentified benchmark，實際處理的是如何把這些需要理解上下文的評測工作，轉化成可檢查、可重現的判斷流程。

它借用 Large Language Model（LLM）生態常見的 harness 思路，先按每個 evaluation case 的初始世界、action 和 probe intent 分解問題，再由具備不同工具與上下文的 specialized sub-agents 分工判斷，最後由 parent agent 驗證證據並整合 verdict。每次評測都會留下 evidence tree，記錄測試內容、視覺依據和完整推理鏈，研究團隊可以追查分數由何而來，而不是只接受一個難以解釋的 scalar score。

支援 330 個 evaluation cases、5,940 次 scored rollouts
以 11 個 specialized evaluation skills 覆蓋品質、轉換與持續性
涵蓋 18 個 world models，並提供 leaderboard 與可執行評測程式
包含 harnesseval-metrics，以及 physical-plausibility backend harnesseval-pavrm

HarnessEval-W 在 intentional transition 上與人類 Bradley–Terry ranking 的 Spearman correlation 為 0.93；physical transition 的 pairwise accuracy 達 71.7%，高於 WBench 的 31.9%。重複評測的結果範圍亦較 WBench 窄 4.9 倍，但這些數字仍取決於案例設計、技能路由和代理判斷品質，不能直接視為所有世界模型任務的通用排名。

項目提供固定 plans、benchmark 資源、metric backends 和可延伸的 skill library；團隊可以先重現既有 cases，再提交新世界、新 action、新 probe family 或新 skill。它較適合研究世界模型、建立可審計評測流程，或需要比較物理合理性與狀態持續性的團隊；對只想快速取得單一分數的測試流程而言，完整證據樹會增加運算與整合成本，但換來更清楚的錯誤定位能力。

項目主頁 · GitHub

Categories: 開源, 北京大學, Agentic, 世界模型, 庫, Dataset 數據集, Skill 技能

PACE-Bench：專測機械環境變化下的自我演化能力

2026 年 8 月 18 日

PACE-Bench 針對環境突變後的適應力做評測，重點不是能否第一次做對，而是能否把原本成功的設計改到再次通關。你可以把它理解成一個用物理模擬驗證自我修正能力的基準。

S-01 Bridge Construction: source design passes, fails after mutation, self-evolves, and passes the target environment

PACE-Bench 是一個用來測試自我演化 agents 的基準，核心問題是：當原本可行的 code-driven design 因為環境改動而失效，系統能否靠互動回饋把它改回可行。它更像是在驗證適應能力，而唔只是看一次性解題。

這個項目把 144 組 source-to-target 配對放入 6 類物理場景，要求 agent 先在 source 環境成功，再在 hidden mutation 後的 target 環境重新修正。每次修訂都要經過執行驗證，JSON 會保存，--save-gif 亦可記錄每次通過驗證的嘗試動畫。

同類評測多數固定執行條件，PACE-Bench 直接把變化放進任務核心，逼系統面對失敗後的再設計。它用 OpenAI-compatible endpoint 跑模型，--base-url、--model、--api-key 與 --workers 這些參數都對應實際部署需要，較適合拿來接自家推理服務做批量評估。

從公開結果看，Reflexion 在 Pass@2 上領先，但 Tree-of-Thoughts 在成本效率更高，說明多做自我修正不一定換到更好的性價比。這類基準特別適合做具身智能、仿真控制、研究自我修正流程的團隊，用來檢查模型在新條件下是否真能靠回饋改對，而唔係只係記住舊解法。

針對環境突變後的適應能力，不是單次解題
以執行驗證驅動每次修訂，結果可重現
支援接入 OpenAI-compatible 服務做評測
結果顯示準確率與成本效率未必同步提升
適合研究 self-evolving agents、控制與物理模擬

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, Qwen, API, Dataset 數據集

Tencent UI-Mate 桌面操作示範變成可重用工作流

2026 年 8 月 18 日

開源權重的通用 GUI 智能體：環境驅動訓練 + 上下文演示學習——流程演示一次即可，不必把所有約定寫進提示。

很多桌面任務難寫成一段完整提示，問題不在指令太短，而是在檔名規則、視窗擺位、公司流程這些細節往往靠示範更容易講清。UI-Mate 就是朝這個位置切入的開源 GUI agent 項目：它在原生桌面看螢幕畫面，用鍵盤和滑鼠跨應用程式執行長流程工作，並且支援把一次人手操作示範轉成可重用工作流。

UI-Mate 把示範當成建議。當畫面內容、資料、視窗狀態或任務目標有變化，代理仍會按即時畫面重新判斷，避免變成只懂重播錄製腳本的 Computer-use agents（CUAs）。這個取捨很重要，因為它直接回應了 GUI 自動化最常見的失敗位：流程相似，但畫面從來不會完全一樣。

訓練方法亦反映它想處理真實環境，而不只是跑單一 benchmark。項目提到 closed-loop data engine，會串連任務合成、環境建構、rollout、驗證與 filtering，再用 capability tree 補回覆蓋不足的能力；同時支援 Ubuntu、Windows 和 macOS 的統一 rollout layer，並以 asynchronous group-relative optimization 處理長而且變化大的 rollout。整體方向很清晰：先把可執行環境和驗證機制搭好，再談代理怎樣學會跨系統做事。

公開結果亦有參考價值。UI-Mate 在 OSWorld-Verified 達到 77.0%，WindowsAgentArena 為 66.2%，而 OSWorkerBench 嚴格成功率 41.0%、progress 76.9%；加入一次 same-task demonstration 後，OSWorker self-demo strict success 由 17.2% 升到 35.4%。這些數字未必代表它已經能穩定接手所有桌面工作，但至少說明示範式引導不只是概念包裝，對長流程任務有明顯幫助。

屬於開源 GUI agent 項目，重點是處理跨應用、跨作業系統的長流程桌面任務
核心差異在於支援 in-context demonstrations，把一次示範整理成可重用工作流
示範不是腳本重播，代理會按 live screenshot 即場重新規劃
較適合需要固定流程但畫面與資料經常變動的團隊、營運與辦公自動化場景
目前已公開模型與結果，但 OSWorkerBench 等配套仍有部分內容標示為 Coming Soon

部署與理解方式上，現有資料較接近研究原型加可試權重，而不是開箱即用的完整產品。官方已放出 code、weights、technical report 和 Try App，較合理的看法是先把它當成可驗證 demonstration-guided GUI agent 能力的開源基線，再看後續 benchmark、資料集與工具鏈是否補齊。對研究 GUI agent、企業桌面自動化，或者想比較文字指令與示範引導差異的團隊，這個項目很值得跟進。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, Agentic, 模型, Mac, Linux, Dataset 數據集, UI/UX

Page 44 of 118

« Previous 1 … 42 43 44 45 46 … 118 Next »