WeaveBench 是一個 benchmark 基準項目，聚焦測試 Computer-use agents（CUAs）在真實桌面環境中，能否把 GUI 點擊、shell 指令與程式碼編修串成同一條工作流程。它處理的不是單一步驟準確率，而是長流程、多介面協作這類更接近日常工作的問題。

這個項目的判分方式比常見的「有沒有生成某個檔案」嚴格得多。它使用 trajectory-aware Agent-as-Judge，會閱讀 chat trace、交付物，並按條款提供證據；論文亦指出，只看最終結果會高估代理表現，這點對研究 CUAs 的人很有參考價值。

如果想先了解它怎樣運作，可以先看離線 demo，直接觀察 score.json、judge model 回應和逐項證據，再決定是否下載完整資料集與 qcow2 執行環境。完整流程需要 Linux、KVM、Docker 及相當多記憶體與磁碟空間，較適合研究團隊、模型評測人員，或正在建構代理系統的工程師。

• 114 個長流程任務，涵蓋 8 個工作領域
• 每個任務都要求 GUI 與 CLI/code 交替操作
• 最佳公開結果為 41.2% PassRate，顯示難度仍然很高
• 提供 OSWorld hybrid-scoring experiment，可對照不同評分與執行框架
• 資料集、runtime 與 qcow2 已放在 🤗 wanlilll/WeaveBench

相關模型與組合方面，公開結果包括 Claude Opus 4.7 + Claude Code、Claude Opus 4.7 + OpenClaw、GPT-5.5 + Codex CLI、GPT-5.5 + OpenClaw、GPT-5.4 + OpenClaw，以及 Gemini 3.1 Pro + OpenClaw。若你關心代理是否真的懂得跨介面完成工作，而不是只會在單一測試集刷分，這個項目很有研究價值。

GitHub： https://github.com/weavebench/WeaveBench

項目： https://weavebench.github.io/

ARM 是一個 AutoRegressive Large Multimodal Model（ARM）類型的多模態模型，把圖像轉成離散 visual tokens，再以同一套 next-token prediction 處理理解、text-to-image 和指令式編輯，目標是把三種能力收進單一流程。

它的核心新意，是用 shared visual token space 連接看圖、生成與修圖，再以純 autoregressive multimodal modeling 處理交錯的文字與圖像 tokens。對一般讀者來說，可理解成「把圖片也變成語言模型可續寫的內容」。

• 7B 規模，重點在統一表示
• reinforcement learning（RL）結合 preference optimization
• WISE overall 由 0.50 升至 0.56
• GEdit-Bench-EN overall 由 5.75 升至 6.68

現階段較適合先讀論文和 benchmark。儲存庫節錄未見完整安裝、推理或權重說明，因此目前看來更像研究項目，不一定適合立即部署。

如果你關注 Large Multimodal Models（LMMs）、image editing，或想比較 unified autoregressive models，這個項目有參考價值。可對照的相關模型路線，包括 unified autoregressive models 與主流 image generation systems；論文亦提到它在 GenEval、DPG、WISE 具競爭力。

GitHub： https://github.com/wdrink/ARM

Paper： https://arxiv.org/pdf/2606.11188

SCAIL-2 是一個用於 End-to-End Character Animation 的開源模型，重點是把驅動影片的視覺資訊直接送入模型，減少依賴 skeleton、mask 這類中介表示。它要處理的問題很明確：傳統角色動畫控制在複雜動作、多角色互動、跨角色替換時，容易因中介資訊過少或含糊而失真。

這項目在於把多種角色動畫子任務合併成同一套流程，並以 Unified Motion Transfer Interface、in-context mask conditioning 與 mode-specific RoPE 作統一控制。根據公開說明，模型還利用 MotionPair-60K 這類合成動作配對資料訓練，並支援 cross-identity replacement、multi-character animation，甚至 animal-driving 與 mesh-based control 這些 zero-shot 能力。

可調參數包括 denoising steps、flow-matching scheduler shift、classifier-free guidance scale、solver，以及是否啟用 offload model；這些設定會影響生成速度、顆粒感與顯示資源負擔，較適合已有 GPU 環境、想比較不同動畫控制效果的人。

• 用模型來把驅動動作轉到指定角色身上
• 不再把 skeleton map 當核心依據，目標是減少資訊流失
• 已列出相關模型：SCAIL-Preview、Wan-Animate、MoCha、SAM3D-Body
• 可處理多角色、角色替換、跨身份動畫等場景
• 推論可調整 steps、guide scale、solver 等參數

如果你是做 AI 影片、虛擬角色內容、動畫研究，或者正留意角色動作遷移技術，SCAIL-2 有一定參考價值。至於效能表現，項目明確表示它在多項任務上優於既有 state-of-the-art approaches。

GitHub： https://github.com/zai-org/SCAIL-2

項目： https://teal024.github.io/SCAIL-2/

Bernini 是一個影片生成與編輯框架，核心是把 MLLM-based semantic planner 與 DiT-based renderer 組合起來，處理一般影片擴散模型常見的內容漂移、指令跟從不穩定，以及長片段規劃鬆散等問題。從定位看，它不是單純再堆大模型，而是先做語意規劃，再交由生成器落實畫面。

這個項目的關鍵想法，在於「Latent Semantic Planning」：先在潛在空間安排語意，再做 video diffusion。對非研究背景讀者來說，可以理解為先寫分鏡草稿，再逐格畫面化，這比直接由文字一步到位生成影片，更有機會保持故事連貫和編輯意圖一致。

如果想試，較合理的切入點是影片編輯任務，例如風格轉換、字幕或水印移除、局部修改，再觀察輸出有沒有跟足指令。倉庫列出的環境偏高階，建議準備 CUDA 12.4、Python 3.11.2，以及 torch==2.5.1+cu124、diffusers==0.35.2、accelerate==0.34.2、transformers==4.57.3；若有 H100、H800、H200 可配合 FlashAttention-3，其他 CUDA GPU 則退回 FlashAttention-2 或 PyTorch SDPA。

Bernini 在 video editing 的表現進入部分主流 closed-source commercial models 的第一梯隊，評分來自其自建 arena，以人工盲選、Bradley-Terry score 及 pairwise win-rate matrix 彙整。這類結果有參考價值，但暫時主要反映編輯場景；若你關心更複雜的人物生成，官方也提到 1.3B 的 Bernini-R 在簡單任務接近 14B 版本，面對複雜任務仍有差距。

• 核心組成是 MLLM-based semantic planner + DiT-based renderer
• 已公開 Bernini-R 權重，包含 1.3B 版本
• 適合研究影片生成、影片編輯流程，或想比較規劃式生成方法的人
• 硬件門檻偏高，Multi-GPU sequence parallel 亦需要 Open-VeOmni
• 相關模型可先留意 Bernini-R-1.3B-Diffusers，以及文中提到的 14B 變體

整體來看，Bernini 最有價值的地方不是「再一個影片模型」，而是把規劃與渲染拆開處理，令可控性成為主要賣點。若你想找可直接在普通電腦輕鬆跑的項目，它未必合適；但如果你重視研究方向、編輯質素與系統設計，這個項目相當值得細看。

GitHub： https://github.com/bytedance/Bernini

現時不少多模態模型可以為影片自動生成字幕或描述，但當用戶要求「用 Markdown 表格整理時間點」或「特別提及背景音樂」等具體指示時，模型往往只輸出一般化文字。OmniCap-IF 正正針對這個落差，研究模型能否在理解畫面與聲音之餘，亦嚴格跟隨用戶指定的結構、風格、時間、視覺、音訊與音視覺等多重限制。

這個項目由南京大學 NJU-LINK 團隊與快手 Kling 團隊合作推出，包含三部分：用作評估的 OmniCap-IF Benchmark、用作訓練的 OmniCap-IF-54K 數據集，以及以此微調出來的 OmniCaptioner-IF 模型系列。基準涵蓋 480 段影片共 1,920 條樣本，橫跨 50 種約束類型，平均片長約 54.6 秒，並以清單式評分機制同時檢查格式與內容。

對研發人員而言，最直接的做法是透過 Hugging Face 下載預訓練模型（提供 3B 與 7B 兩個版本），再以 Python 載入影片並輸入帶有格式要求的指令。模型會根據指令產生相應的影片描述，研究者便可與基準結果比較，判斷自家系統在指令遵從度上的強弱。

這個項目的創新之處在於雙軌評分機制：一方面驗證輸出是否符合結構規定（例如段落、表格、時間戳），另一方面把內容拆成視覺、音訊與音視覺三個維度逐一核對，並加入時間定位。這種「分項打分」比單純的整體相似度更能診斷模型失誤的位置。配套的 54K 訓練集亦採用了「內容與格式分離生成」的策略，令模型在複雜格式下仍能保持內容準確。

適合從事影片理解、字幕生成、內容審核或需要可控 AI 輸出的團隊。

重點摘要：

• OmniCap-IF Benchmark：1,920 條樣本、50 種約束的影片描述指令遵從評估基準。
• OmniCap-IF-54K：54,000 條影片—指令—回應三元組的訓練數據集。
• OmniCaptioner-IF：3B 與 7B 兩款模型，可從 Hugging Face 直接下載。
• 雙軌評分機制：分開檢查結構格式與視覺／音訊／音視覺內容。
• 時間定位能力：把時間戳準確度納入評分，支援需要時序分析的應用。

GitHub： https://github.com/NJU-LINK/omnicap-if

項目： https://nju-link.github.io/OmniCap-IF/

近年不少影片編輯模型已能根據文字改片，但一遇到多個要求同時出現，例如一邊改主體、一邊保留背景與動作連貫，表現就容易失準。CoVEBench 是一個診斷型 benchmark，專門檢查 compositional instruction-guided video editing 在複雜條件下是否真的做得到。

這項目的判斷方法比一般「整體看起來差不多」更嚴格。它把表現分成指令完成度、畫質與來源保真度三條線來看，並用細緻 checklist 檢查多個編輯點有沒有同時成立；就算模型個別要求做到幾項，只要無法通過 union criterion，分數仍然不高，這種設計能更早看出模型短板。

如果想了解它的內容，較合適的做法是先看示範頁與資料集規模，再對照評估指標。CoVEBench 收錄 416 段來源影片、626 條多重指令、9,990 個細項檢查點，預設會抽取 10 張等距 frame 做 frame-level metrics；AES、VQR、MSM 則只針對 edited videos 計算，方便把「改得夠不夠」與「有沒有改壞其他地方」分開分析。

• 核心用途是評測 video editing models，不是直接拿來剪片
• 主要指標包括 Union Accuracy（UAS）、Instruction Following Score（IFS）、Video Realism Score（VRS）、Semantic Consistency（SEM）
• 設計重點在細粒度 checklist，而非只看單一總分
• 結果顯示強模型未必兼顧保留原片內容，編輯力度與保真度存在拉扯
• 項目亦比較了 joint editing 與 stepwise decomposition 的差異，前者表現更好

從公開資訊看，CoVEBench 的價值在於它把失敗原因拆得夠清楚，適合研究團隊、評測人員，以及想比較閉源與開源方案的人參考。相關模型包括 Wan2.7 與 HappyHorse1.0；即使領先系統在複合編輯上較強，UAS 仍未算高，反映這個領域離穩定可靠還有一段距離。

GitHub： https://github.com/NJU-LINK/CoVEBench

項目： https://nju-link.github.io/CoVEBench/