InferNews

用 Hermes Agent 自動跑 ComfyUI 影片流程

Share to X
Og image

由文字指令直接帶動整條 AI 內容製作流程，正是這段教學最吸引人的地方。影片示範 Hermes Agent 在 Windows 電腦上接手 ComfyUI 操作，把影像、語音與影片生成串成一套可執行工作流，減少人手逐步點擊介面的時間。

這類做法處理的，是多工具協作時常見的斷層：模型會生成內容，但流程仍要靠人逐格設定、切換節點、整理輸出。Hermes Agent 扮演的角色更接近可執行指令的 Agent，讓使用者用自然語言描述需求，再由它推動 ComfyUI 與相關模型完成步驟。

影片標題提到的 Krea 2、LTX 2.3、Qwen 與 Fish Audio，反映這條工作流並不只限於單一模型，而是把視覺、影片與音訊能力接在一起。重點不在單一模型參數，而在於怎樣把不同項目整合成可重複使用的自動化流程。

  • Hermes Agent 可在 Windows 環境控制 ComfyUI
  • 工作流涵蓋影像、音訊與影片生成
  • 輸入形式以簡單文字指令為主
  • 涉及 Krea 2、LTX 2.3、Qwen、Fish Audio 等模型或服務

對內容創作者、想整理 AI 製作流程的人，這類教學特別有參考價值。它未必代表所有步驟都能完全免調整，但已清楚展示 Agentic 工作流如何把 ComfyUI 由節點工具，進一步變成可自動執行的製作中樞。

項目主頁

Categories: Qwen, Google, ComfyUI, Agentic, Video, Audio, AI productions, 安全, 教學, 視覺模型, 視頻模型, LTX

MPIE-Bench：多人修圖基準

Share to X
apple pie icon

當多人影像編輯開始涉及互動動作、身體接觸，例如擁抱、攜帶或擒抱，同多角色參考圖，模型最常翻車的地方就不只是一張圖靚唔靚。MPIE-Bench 屬於基準測試資料集與評分工具，焦點是檢查編輯模型能否在跟從指令之餘，同時保住人物數量、身份一致性、肢體結構同互動幾何是否合理。

MPIE-Bench 不是再做一個生成模型，而是替多人編輯建立較完整的檢查方法。測試集有 2,500 個案例，並按接觸密度分成 C0 到 C3，意思是由沒有接觸到高密度接觸場景都會覆蓋；這種切法有助分辨模型是單純怕多人，還是特別怕擁抱、扶持、碰撞這類複雜互動。

評分設計亦有取向。六個軸線，除了身份、指令遵從、人物數量與整體畫質，亦把 anatomy 和 interaction 拉成重點，並用 mesh-anchored Anatomy / Interaction 來處理較難主觀判斷的部份。對研究團隊或做產品評測的人來說，這比只看美感分數更有參考價值，因為它直接對應多人編輯最容易出錯的位置。

  • 官方提供 2,500-sample test set、evaluation protocol 同 scoring code
  • 重點量度多人編輯中的身份保持、人物數量、動作互動同整體質素
  • 測試案例按接觸密度 C0–C3 分類，方便看清模型失誤模式
  • 可把模型輸出放到指定資料夾，再跑 E2E scorer 完成整體評分

部署資訊已有基本方向，安裝細節放在 docs/INSTALL.md，而且評分流程需要額外權重、環境設定，以及 AI_GATEWAY_URL、AI_GATEWAY_KEY 等配置；單靠儲存庫首頁未足以完整重現全部步驟。另有三個 closed-source baseline 的 frozen judgments，可作對照，但 open-source model dumps 沒有公開，這表示它更適合拿來評測自己的輸出，而不是直接比較所有現成模型結果。

對開發多人影像編輯、角色一致性編輯，或要驗證 VLM、影像生成模型在複雜人物互動表現的團隊來說，MPIE-Bench 的價值在於它把「多人」這件事拆成可追蹤的失敗類型。它未必能代替最終人工審美判斷，但很適合放進模型迭代流程，幫你更早發現哪些能力其實只在簡單場景先成立。

GitHub

Categories: 開源, 影像處理, 視覺模型

PhiZero 用物理語言先推演再生成影片

Share to X
Og image

生成影片最難處理的，往往唔係畫面清唔清，而係物件點移動、碰撞同延續。PhiZero 屬於世界模型（World Model），焦點放在「先理解世界狀態點轉變，再生成畫面」，用較細緻的 physical language 去表達變化，減少直接由像素預測帶來的不穩定感。

它想解決的問題很明確：自然語言太粗略，難以完整描述複雜物理過程；純視覺生成又未必能穩定保留因果同動作連貫性。PhiZero 於是從大量無標註影片學出一套 compact discrete representation，先把相鄰影片狀態之間的轉變編碼成 physical language，再交由模型根據首幀畫面同文字動作意圖，預測之後的狀態序列，最後渲染成影片。

它採用 reason-then-render 流程。前段由 Physical Language Tokenizer 抽取相鄰 latent video states 的有序特徵，配合 FSQ 離散化成 physical language；後段由以 Qwen3-VL-4B 初始化的 autoregressive VLM 負責推演，再用訓練好的 diffusion decoder 輸出影片。這種拆法的價值，在於同一套 transition representation 可以重用在 physically realistic generation、action-conditioned simulation、interactive rollouts 同 zero-shot transfer，而唔係只限單一生成任務。

  • 先推演世界轉變，再生成影片，重點放在因果與動作連續性
  • physical language 來自無標註 in-the-wild videos，自監督學習轉變結構
  • 以 Qwen3-VL-4B 作為 reasoner 基礎，並擴充 25K atomic symbols 詞彙
  • 同一表示方式可支援生成、模擬、互動 rollout 同 transfer

現有資料顯示，PhiZero 的訓練資料同時結合真實與模擬影片，並經過逐步篩選，令模型由廣泛視覺經驗收斂到較多動態互動片段。官方頁面已展示 demos，但程式碼仍標示為即將推出，所以現階段較適合把它看成一個值得關注的世界模型方向：它不是單靠更大影片模型硬推結果，而是嘗試先建立可推理、可重用的物理語言介面。

項目主頁 · Paper

Categories: Qwen, Video, 視覺模型, 世界模型

SpatialCLI 用空間工具補強視覺推理

Share to X
A comparison between a general VLM and a general VLM augmented with SpatialCLI tools

一到要指出物件位置、分清遮擋關係，或者估計深度與姿態，純 Vision-Language Model 往往會答到有方向但未夠準。SpatialCLI 把呢個落差處理得幾直接：它不是單靠一個大模型硬撐，而是把空間能力拆開，先讓模型懂得呼叫工具，再進一步把這些能力學回自己身上；整體定位更像一個結合模型、工具鏈與訓練方法的研究項目。

它最有意思的地方，在於三段式 Call-Learn-Internalize。第一步先接上做 localization、segmentation、metric depth、pose 的 specialist vision models，第二步用 Cold-Start SFT 與 agentic RL 訓練模型判斷幾時要用哪個工具、怎樣整合結果，第三步再把成功軌跡轉回模型能力。取向很清楚：寧願先借助外部工具拿到更可靠的局部感知，再追求把能力內化，減少每次推理都依賴外掛模組。

對研究團隊或做多模態 Agentic 工作流的人來說，這個項目值得留意，因為它同時放出 SpatialCLI code、SpatialCLI-8B 與 SpatialCLI-Data，不只是概念展示。理解它的部署方式也不難：代碼庫負責工具調用與訓練流程，Hugging Face 上的模型與資料集則對應推理、微調和重現實驗的核心材料；要完整驗證效果，通常要連同外部空間工具一併配置。

  • 類型上屬於模型加框架的研究項目，目的是提升多模態模型在空間推理上的準確度與工具使用能力。
  • 重點不只在「可呼叫工具」，而是進一步把工具使用經驗轉化成模型本身的能力。
  • 已公開論文、SpatialCLI-8B 與 SpatialCLI-Data，方便重現與延伸訓練。
  • 適合要處理定位、分割、深度、姿態等視覺任務的人員參考其工作流設計。

現有資訊未見 README 完整列出量化結果細節，但評測章節與 specialist models 章節已預留，顯示作者不是把它包裝成單一模型升級，而是把「何時調工具、如何學會不用工具也保留能力」當成核心問題。這種做法的代價也很明顯：系統整合與訓練鏈會比單純跑一個 VLM 複雜，不過換來的是更貼近真實空間任務的推理穩定性。

GitHub

Categories: 開源, Agentic, 多模態模型, 影像處理, 視覺模型

HumanCLAW 直指 VLM 身體感缺口

Share to X
HumanCLAW teaser

畫面睇得明，不等於身體識得郁得啱。HumanCLAW 把 Vision-Language Models（VLMs）放進一個閉環人形行動測試環境，集中量度模型每個瞬間應該做哪個動作，而不是把失敗全數歸咎於低層馬達控制。它屬於評測框架兼基準測試項目，處理的是 VLM 在具身場景中的行動決策能力，到底有沒有足夠「身體感」去完成找路、移動與互動。

呢個設計最值得留意的地方，是它把 action decision-making 與 low-level motor execution 分開。每 0.5 秒，凍結的 VLM 只需要根據第一身視角、指令、技能列表與歷史內容，提出一個 atomic whole-body skill；後面的 verifier、motion generator 同 half-physics simulator 再負責驗證、安全過濾與連續動作執行，令接觸、碰撞、重力等物理後果仍然保留下來，但平衡失誤與動作追蹤誤差會被盡量排除。

HumanCLAW-Bench 則在這個框架之上提供 1,218 個長時程 find–navigate–interact episodes，覆蓋 41 個室內場景。數字相當直接：九個最先進 VLM 全部未能解決這套基準，最佳成績只有 16.8% success rate，反映問題不在單次辨識，而在模型持續追蹤自身位置、判斷是否到達目標，以及理解自己有沒有撞上環境。

  • 把高層決策同低層動作分離，較易睇清 VLM 真正弱點
  • 保留真實物理後果，唔會因為純符號化環境而高估能力
  • HumanCLAW-Bench 著重長時程、第一身視角、連續互動任務
  • 目前公開資訊顯示程式碼與 benchmark 仍在準備釋出

對研究 embodied AI、Computer-use agents 延伸方向、VLM 評測方法的人來說，呢個項目有參考價值，尤其適合用來檢查模型是否具備 closed-loop spatial action intelligence，而不只是識描述畫面。現階段較大的限制也很清楚：GitHub 儲存庫尚未正式放出 harness、motion generator weights、half-physics simulation environment 與完整評測內容，暫時主要仍是透過 project page、paper 同 leaderboard 理解方法與結果。

項目主頁 · GitHub

Categories: 開源, Agentic, 多模態模型, 視覺模型, Meta, Dataset 數據集, Skill 技能

LTX-2.3 Black-Magic 黑暗補景 LoRA

Share to X
Og image

拍到過暗片段時，最直接嘅痛點係一加光就爆雜訊、細節仍然唔見。LTX-2.3-Black-Magic-LoRA 明確建基於 Lightricks/LTX-2.3，以 adapter 形式提供 IC-LoRA，定位唔係忠實還原訊號，而係替黑位內容做具時間連貫性嘅生成式重建，所以更接近 video-to-video 視覺特效模型，而唔係傳統 low-light enhancement。

取捨亦講得好清楚：當原始畫面資訊太少，模型會「推斷」暗處可能有咩，而唔係保證還原真實場景。呢種做法對氣氛鏡頭、夜景、舞台火光、森林或室內昏暗片段有吸引力，因為畫面觀感會比單純提亮更自然；但用喺證據保存、監控取證或要求真實性的工作，就要非常審慎。

項目提供嘅技術資訊相對精簡。已知它使用 diffusers，pipeline tag 係 video-to-video，模型檔案列出 black-magic-ic-lora-450.safetensors，而名稱中標示對應 LTX-2.3 22B。不過頁面截圖內容未見上下文長度、GGUF 格式量化、mmproj、llama.cpp、Ollama、LM Studio、MTP draft speculation、v2 更新紀錄、檔名變更或 chat template 說明，代表呢頁並唔係本地 LLM 部署型模型卡，相關部分無法確認。

  • 基礎模型已明示為 Lightricks/LTX-2.3，關係為 adapter，而唔係完整重訓主模型。
  • 能力核心係 shadow reconstruction，重建暗部觀感，唔等於忠實還原原始訊號。
  • 標籤集中在 ltx-video、low-light、generative-video、vfx、lighting，用途相當聚焦。
  • 已知檔案只有 black-magic-ic-lora-450.safetensors。

同一般曝光修正最大分別，在於接受「畫面不夠資料時需要生成補完」呢個前提。使用者應該將它視為風格化且偏後期製作取向嘅影像模型；想改善觀感、保住影片連續性，它有明確價值，但要用作真實場景還原，頁面本身已經劃清界線。

項目主頁 · 模型

Categories: 開源, NVIDIA, Video, Image, Python, 視覺模型, LTX

Microsoft Mage：4B 多模態輕量路線

Share to X
gallery

當你想喺有限 GPU 預算下做影像生成、編輯，甚至延伸到影像與影片理解，Mage 這個開源模型家族的定位就相當直接：用固定 4B 參數規模，處理多模態理解與生成兩條路線，目標唔係堆大模型，而係保留研究可控性同部署可行性。

Mage 目前最完整的是 Mage-Flow，屬於模型家族中的生成與編輯分支。它把 Mage-VAE 同 Native-Resolution Multimodal Diffusion Transformer 組合起來，前者負責更高效率的 latent tokenizer，後者負責文字生圖與指令式修圖；同時提供 Base、RL-aligned 同 4-step Turbo 版本，方便按畫質、對齊程度與速度取捨。另一條線 Mage-VL 對準 image/video understanding，但程式與權重細節仍待釋出。

同類開源影像模型很多都靠更大參數量換效果，Mage 的判斷明顯不同：它把重點放喺 codec-aligned efficiency，同一個 checkpoint 已可覆蓋 512 到 2048、不同長闊比，連 4:1 這類極端尺寸都原生支援，減少多套模型或額外縮放流程。它在生成、編輯表現上可與 Qwen-Image 20B、FLUX.2 32B、FireRed-Image-Edit 20B 等較大型開源系統競爭，但取捨是 Mage-VL 仍未完整開放，整個家族現階段更適合關注研究與工作流整合的人先行評估。

Super fast Image Edit model Mage-Flow on 8GB VRAM
  • 固定 4B 規模，主打可訓練、可微調、可部署
  • Mage-Flow 已覆蓋 text-to-image 與 instruction-based image editing
  • Mage-VAE 以更低 encode/decode MACs 減輕高解析度瓶頸
  • 單一 checkpoint 支援 512–2048 與多種 aspect ratio
  • Turbo 版本強調速度，1024² 在單張 A100 有明確推理數字

部署與測試方面，現有資料顯示 Hugging Face 已提供多個 Mage-Flow 與 Mage-Flow-Edit 權重，適合先用現成 checkpoint 驗證生成、修圖與速度，再決定是否進一步做微調。對做垂直領域影像項目、想研究後訓練方法，或者需要把高解析度生成放入較實際算力條件的人，Mage 的吸引力不在花巧包裝，而在它用一條輕量路線，把研究、性能與部署成本拉回較平衡的位置。

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, 微軟, Stable Diffusion, Video, Image, Medical醫學, txt2img, 多模態模型, 影像模型, 影像處理, 模型, 視覺模型

ReDesign 把平面圖轉為可編輯設計

Share to X
Repository image for jintae-00/ReDesign

設計原檔遺失之後，最麻煩唔係畫面睇唔到，而係改唔到字、拆唔開圖層、調唔到前後次序。ReDesign屬於Agentic取向的研究型工具，目標係由單張 raster image 重建出可編輯設計結構，輸出成帶有文字、向量形狀、群組同 z-order 的 JSON hierarchy。

它的判斷方式唔係一次過猜完整個版面，而係將設計當成 layer tree，由大區域開始逐層拆細，再用 verifier 檢查每一步成唔成立。呢個取向比起只做 OCR、只做分割，或者直接做多圖層分解更完整，代價就係系統較重，亦要配合多個視覺工具同較高 GPU 記憶體，當中 Qwen 相關 worker 官方已寫明大約要對應 55 GB 級別資源先容易跑得順。

相關模組之間的分工幾清楚：VLM controller 負責揀動作，文字會交由 PaddleOCR、字體辨識、Hi-SAM 同 LaMa 處理；物件與圖層則會用到 Qwen-Image-Layered、GroundingDINO、SAM 2、connected-component analysis 同 VTracer。換句話講，呢個項目唔係單一模型，而係把多個模型與工具串成一條可驗證的還原流程，較適合研究設計還原、可編輯圖形生成，或者想將靜態素材重新帶回設計工作流的團隊。

  • 單張平面圖可還原成可編輯 JSON hierarchy
  • 支援文字、向量形狀、圖片、群組與 z-order
  • 採用 coarse-to-fine tree expansion，加上 verifier 修正分支
  • 效能展示基於 Figma-909，指標上普遍優於多個 baseline

評測方面，項目頁面列出 Figma-909 這個 Dataset 數據集，並顯示 ReDesign 在 L1、PSNR、LPIPS、PQ 同 F1 等指標整體領先 baseline，說明它唔只重建外觀，亦較重視元素級別的可編輯性。儲存庫已提供 agent、baseline 同工具後端結構，但它更似一個研究系統而唔係輕量腳本；較值得留意的是多 GPU 分片、平行 worker 同視覺工具的資源安排，較適合有運算環境的研究者或產品團隊深入測試。

項目主頁 · GitHub

Categories: 開源, Qwen, Agentic, Image, 多模態模型, 影像處理, 視覺模型, Dataset 數據集

quote-and-retrieve：用「引文＋檢索」的視覺文件理解

Share to X
Repository image for Ryenhails/quote-and-retrieve

視覺語言模型 (VLM) 讀完文件回答問題時，傳統做法會要求它同時輸出 bounding box 標註證據位置；然而開源模型經常「答對但指錯」，這現象被稱為 Attribution Hallucination。這個來自赫爾辛基 Aalto 大學的開源項目主張，問題癥結很大程度是輸出介面本身的限制，而非模型缺乏 grounding 能力。

他們設計了一組控制變量實驗：固定模型、輸入頁面、題目與評分機制，僅改變證據表達方式。座標介面要求模型逐 token 生成框；語言介面則由模型輸出逐字引文，再交由外部 layout parser 與 retriever 找回對應區域（表格與圖片透過 caption 或註解引用）。在四個家族共六款開源 VLM 上，evidence recall 由座標介面下最高 8 分躍升至語言介面的 26 至 47 分，hallucination rate 近乎砍半，而答題品質幾乎不變。

基於這個對比，作者進一步提出 region-label-free GRPO 訓練方法：獎勵訊號只讀取 gold answer 與檢索區域的裁切圖，毋須任何 region-level 標註。8B 模型在這個框架下，strict attributed accuracy 由 22.4 提升至 33.8，等於用更便宜的監督換到明顯的歸因改善。

對於處理長文件、多模態表格或需要可追溯證據鏈的團隊（例如文件審核、研究文獻回顧）來說，這條 quote-and-retrieve 路線既繞開昂貴的人工框標註，也避開模型不擅長的座標生成。想要快速感受差異，只需 clone 項目後執行 python src/score_citevqa.py examples/sample_predictions.jsonl 與同一指令對座標版本跑一次；附帶的範例檔只有四題合成題，卻已重現論文核心發現。

重點摘要：
– 問題重新定位：歸因幻覺多屬輸出介面產物，並非模型能力不足
– 介面切換：座標介面換成引文＋外部 retriever，evidence recall 由 ≤8 升至 26–47
– 訓練替代方案：region-label-free GRPO 用 gold answer＋裁切圖作獎勵，毋須昂貴框標註
– 規模效益：8B 模型 strict attributed accuracy 由 22.4 提升至 33.8
– 快速驗證：附範例 JSONL，無需 GPU 即可重現對比結果

GitHub · Paper

Categories: 開源, Qwen, Clone, Python, 多模態模型, 模型, 視覺模型

CrossView 用 3D 數值控制鏡頭：LTX-Video 跨視角生成

Share to X
Og image

想將一段現成影片改成另一個鏡頭角度，又唔想主體變樣或空間關係散掉，這正是此模型處理的問題。它明確基於 Lightricks/LTX-2.3，屬於 LTX-Video 2.3 22B 的 IC-LoRA 微調，重點不是純文字改鏡頭，而是用輸入影片加相機偏移數值，重建同一場景的新視角。

頁面提供的做法幾清楚：模型同時接收兩段參考影片，一段是由 CrossViewWarp ComfyUI node 產生的 depth-warp 影片，用來保留幾何結構；另一段是原始影片，用來維持主體 identity。這種雙參考分工，反映它優先解決「換角度後仍要似原片」的取捨，比單靠 prompt 描述鏡頭更穩定。

它與同作者的 CrossView Prompt LoRA 差異亦很直接：後者由文字提示選鏡頭角度，這個版本改為輸入 azimuth / elevation / distance 等數值，所以鏡頭控制更精確。頁面亦提到可以在 3D orbit picker 加 keyframes，逐幀插值相機姿態，代表不只可做固定新視角，也可做繞拍式 camera move。

  • 基礎模型已標明為 Lightricks/LTX-2.3，授權為 Apache-2.0。
  • 主要檔案是 LTX2.3-22B_IC-LoRA-CrossView-Warp_v0.9_18000.safetensors。
  • 依賴 ComfyUI-CrossViewWarp 與 Depth Anything V2 節點提供 depth 輸入。
  • 示例包含固定視角偏移與 keyframed 軌道鏡頭，並說明輸出來自真實影片而非合成訓練片段。

這個項目目前仍是 PoC，它較偏向 ComfyUI 工作流驗證，而不是通用本地大語言模型部署。

模型

Categories: 開源, ComfyUI, Video, 3D, AI productions, 視覺模型, 視頻模型, LTX
Page 1 of 16
1 2 3 … 16