InferNews

WeVisDoc 騰訊文件圖片的端到端解析模型

Share to X

騰訊 WeChat Vision 團隊開源 WeVisDoc 系列文件解析模型，以「先擴廣覆蓋、再針對性補強」的兩階段訓練框架，在 OmniDocBench v1.6 與多個 PureDocBench 軌道同時刷新端到端解析器紀錄。

WeVisDoc-4B leads the compared end-to-end parsers across all four reported settings.

當一份文件同時夾雜模糊掃描、手寫註記、複雜表格與數學公式時，多數 OCR + 版面分析的流水線都會在交接處出錯——模型間責任不清，錯誤層層放大。騰訊 WeChat Vision 團隊開源的 WeVisDoc 系列正正針對這個痛點，把「文件頁 → 結構化 Markdown（含 LaTeX 公式、HTML 表格）」收進單一端到端模型，避免不同模組互相推卸責任。

WeVisDoc 推出 2B 與 4B 兩款模型，皆以 Qwen3-VL 為基座微調而成，覆蓋文字、公式、表格與閱讀順序四個維度。訓練方法分兩階段：Stage I 先擴大語義、結構、外觀三方面的數據覆蓋；Stage II 則用殘差診斷找出 Stage I 仍出錯的樣本，針對性地補充與重新分配訓練數據。這套做法與單純堆數據量的路線不同——它把精力集中在模型最容易跌倒的角落。

在 OmniDocBench v1.6 上，WeVisDoc-4B 取得 95.38 的 Overall 分數，三條 PureDocBench 軌道的平均分為 75.54，均為目前端到端解析器的最佳成績。在更貼近真實擷取條件的 PureDocBench Real（模擬四次實體拍攝劣化）上，相對次強基線仍拉開 1.44 分，是四個比較場景中差距最大的一項，正好對應 Stage II「在真實擷取最難看的外觀變化上獲得最大增益」的設計初衷。

對需要把大量歷史紙本文件、學術論文、表格報表轉成結構化內容的研究團隊與企業來說，WeVisDoc 提供了一個開源、可在本地用 GGUF 等格式部署的小模型選項。模型現已上載 Hugging Face，並附技術報告與互動式 Recovery Lab，方便逐頁對比 Stage I 與 Stage II 修復了哪些具體錯誤（例如被漏掉的 9×9 數獨格線）。

  • 騰訊 WeChat Vision 團隊開源的端到端文件解析模型，2B／4B 兩個規模，皆基於 Qwen3-VL 微調
  • 兩階段「數據中心」訓練框架：Stage I 擴大覆蓋、Stage II 以殘差診斷針對性補強
  • 輸出結構化 Markdown，內含 LaTeX 公式與 HTML 表格，涵蓋文字、公式、表格、閱讀順序四維度
  • WeVisDoc-4B 在 OmniDocBench v1.6 與三條 PureDocBench 軌道均居端到端解析器首位
  • 開源釋出模型權重、技術報告與互動式範例頁，方便逐頁審視修復效果

項目主頁 · GitHub

Categories: 開源, 騰訊, 模型, 模型訓練, Qwen, 框架, Dataset 數據集

ActionPiece：設計動作分詞器，幫機械人學得更穩

Share to X

可以把 ActionPiece 理解為一個專給視覺語言動作模型用的動作編碼器，特別針對自回歸生成時動作細節流失的問題，強調保留物理距離的先後關係。

DeepCybo, Zhongguancun Academy, and Zhongguancun Institute of Artificial Intelligence

當自回歸視覺語言動作模型（VLA）把機械人動作切成離散 token 再一個個吐出來，最大的隱性成本往往不是單一動作的誤差，而是相鄰動作之間的物理距離被打亂。ActionPiece 正是針對這個卡位設計：它把動作切成一塊八步的短序列，每塊壓成 16 個離散 token，並要求 tokenizer 不只重建動作，還要保留「物理排序一致性」（physical rank consistency, PRC）。換句話，兩個本來很接近的動作，編碼後的距離也要維持接近；兩個本來很遠的動作，編碼後也要維持較遠。這種監督讓 token 表徵本身帶有物理結構，而不是純粹的重建損失。

在 Libero、Libero-Plus、SimplerEnv 與 VLA-Arena 四組基準上，ActionPiece 配合 Qwen3-VL-4B 作為策略骨幹，跑出 94.8%、68.8%、71.9%，以及 VLA-Arena L0 至 L2 平均 51.5% 的成功率。Libero-Plus 的訓練刻意排除其示範數據，因此這項成績更能反映遷移表現，而不是單純記住示範。從結果可以看到，重建保真度與 PRC 之間並非完全等價：有些 tokenizer 重建得很好，但鄰近關係一塌糊塗，部署成功率也跟著掉。ActionPiece 把「物理排序保留」與「碼字分配的量化正則化」綁在一起訓練，正好同時壓住這兩個問題。

這個項目的實際意義，是給正在做 VLA 研究的團隊一個可直接替換的動作 tokenizer，無需重寫策略架構。對關注 SimplerEnv 真實遙操作或 VLA-Arena 跨平台泛化的工程師來說，這類保留物理關係的分詞方式，會比純重建式 tokenizer 更貼近控制任務的需求。PhysBrain 1.5 也採用了 ActionPiece 作為動作 tokenizer，顯示它已不只在論文層面，而是走進實際模型發佈。

要真正評估它，比較合理的做法是把它接進自己的 VLA 流程，比對換 tokenizer 前後的策略成功率與 PRC；單看 Libero 94.8% 容易被低估，因為重建誤差小的 tokenizer 不一定保留鄰近結構。原始程式碼與 PhysBrain 1.5 的權重將在官方頁面釋出，想搶先試的人可以先讀論文並鎖定後續更新。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, VLA, Robotic, Dataset 數據集

ScienceIDE 把科學模擬變成 AI agent

Share to X

ScienceIDE 用 64 個科學模擬環境訓練 agent 修 bug、重寫函式，並釋出 4B、9B、72B 三個模型。你可以把它理解成：用真實物理模擬的數值對不對，來判斷 AI 改程式改得啱唔啱。

ide overview

大多數 code agent 訓練環境用靜態單元測試或合成題目，ScienceIDE 走一條更狠嘅路：直接搬真實科學模擬器入嚟做試煉場，等 agent 改動 pinned、未經修改嘅上游源碼，再由 verifier 重新編譯並跑原本嘅物理 case，數值要對得返先算過。換句話，reward 唔係「diff 似唔似」，而係「模擬結果啱唔啱」。呢套框架對工程團隊同做 AI for Science 研究嘅人特別有用，因為佢直接量度 agent 對物理計算嘅影響，而唔係紙上談兵。

項目提供 64 個環境同 85 條 ScienceIDE-Hard 任務，已公開 15 個，全部都附帶可量度嘅難度指標（未修復分數、編輯點數量、驗證成本、通過率），避免人為標 difficulty。Reward 設計亦幾巧妙：untouched repository 一定攞零分，等模型必須真係做嘢先有分。

團隊同時釋出 PhAI-IDE-4B、9B、72B 三個模型，覆蓋唔同算力預算。從結果睇，SFT 後 PLUTO-Particles-Dust 由 0.0 跳到 0.33；Qwen3.5-4B 經 30 步 RL，LAPS 由 0.357 升到 0.857，MITgcm-biogeo 由 0.286 升到 0.571。訓練用科學 code 唔止提升呢類任務，亦帶動一般 benchmark：CodeXGLUE defect detection +6.99pp，BBH Word Sorting +36pp。

要部署嘅人最直接嘅入口係 Hugging Face 嘅 model collection 同 GitHub repo；想理解 reward 邏輯同難度定義，paper 同項目頁有完整交代。訓練數據、開發環境同 verifier 開源，等社區可以喺真實科學 codebase 上繼續 scale up。

重點摘要：

  • 真實物理模擬做 reward：agent 改動上游源碼後，verifier 重編譯並比對物理 case 數值，唔靠 diff 相似度。
  • 64 個環境、85 條 Hard 任務：已開源 15 個，難度由可量度指標自動決定，唔靠人手標 label。
  • 三個模型規模：PhAI-IDE-4B、9B、72B 覆蓋唔同算力，訓練設定與評估條件一致。
  • 科學任務外溢到通用 benchmark：CodeXGLUE defect detection +6.99pp，BBH Word Sorting +36pp。
  • 完整開源鏈：code、environments、tasks 同模型權重同步釋出，方便研究團隊複製同擴展。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 模型訓練, Qwen, 框架, IDE, Dataset 數據集

Mind2Dialogue：讓模型學會推斷用戶內心狀態

Share to X

這個項目用一套共享狀態的對話模擬流程，讓模型從純對話歷史推回用戶的信念、目標和情緒，從而提升個人化與心理理論能力。

idea-promotion

現時很多聊天模型在多輪對話中表現不錯，但一到「這個用戶其實想要什麼、心情如何、跟上一句話背後的脈絡」就容易失去線索。Mind2Dialogue 直接在訓練階段把這個缺口補上：模擬器跟一個 Oracle 助理共用同一個會隨對話演化的用戶狀態，Oracle 寫出的回覆就成為學生模型的訓練目標；學生模型在訓練時只看到 persona 與對話紀錄，要自行還原背後狀態。

整個流程由六個階段組成：規模化產生 persona 種子情境、批次生成對話、用 LLM 作評審過濾低質樣本、從對話抽取 QA 對、語料改寫增廣，最後做微調與評估。設計上刻意把模擬者、Oracle、評審分成不同模型端點，避免自我評分，也容許把較強模型放在 Oracle 位置。情境類型涵蓋終生關係、高頻互動、情緒事件與敏感議題，使訓練語料貼近真實長期陪伴的場景。

在 Qwen2.5-7B-Instruct 上，個人化指標 PrefEval-Gen 比基礎模型高 33.4 分，PersonaMem-v2 高 10.0 分，並在同骨架下壓過加記憶模組與其他個人化方法。Qwen 與 Llama-3.1-8B-Instruct 在 BigToM 等 Theory-of-Mind 基準上也同步進步，代表個人化與心智理論可能共享同一種「從觀察推回未觀察狀態」的能力。OLMo-3-8B-Instruct 則未見轉移，顯示效果仍受骨架預訓練影響。

隨訓練資料量由八分之一擴到全量，三個骨架的個人化分數都穩步上升，呼應「資料規模足夠，學生才能學會狀態還原」這個核心假設。對做對話系統、角色 AI、AI 陪伴或客服助手的研究團隊，這套管線可作為不需要逐句人工標註的個人化資料生成起點；對關心評測的研究者，內附 LLM-as-judge 與消融設定（full、no_privilege、no_state、latent 等）便於追溯不同監督訊號的貢獻。

重點摘要：

  • 共享狀態模擬：模擬器與 Oracle 共用演化中的用戶狀態，Oracle 回覆成為學生訓練目標
  • 零人工標註管線：六階段流程從 persona 種子到微調皆可批次執行
  • 個人化與 ToM 同步提升：Qwen 與 Llama 在 PrefEval-Gen、PersonaMem-v2、BigToM 上均有明顯改善
  • OLMo 未見轉移：效果依賴骨架預訓練特性，OLMo-3-8B-Instruct 在 ToM 上反而下跌
  • 資料越多越好：從 1/8 到全量語料，三個骨架的個人化分數持續上升

項目主頁 · GitHub · 數據集

Categories: 開源, Agentic, 模型訓練, Qwen, LLaMa, Dataset 數據集

LLaDA-UI 首個開源擴散 GUI Agent 16.7B MoE 力壓 Qwen3-VL

Share to X

Inclusion AI 把 block-wise 擴散語言模型搬進螢幕操作場景，推出約 16.7B 參數的 LLaDA-UI，在六個 GUI 基準上贏 Qwen2.5-VL-7B，部分項目更超越 Qwen3-VL-8B。

LLaDA-UI GUI-agent benchmark comparison and animated qualitative diffusion decoding

一般講 GUI Agent，都預設底層係自回歸 VLM；Inclusion AI 同螞蟻集團 Venus Team、西湖大學合作推出的 LLaDA-UI，偏偏選擇用 block-wise 擴散語言模型做骨幹，直接從遮罩 token 逐塊 denoise 出推理同動作，配合原生動態解像度視覺編碼器，覆蓋手機、桌面、網頁同 grounding 任務。模型全段約 16.7B 參數嘅 MoE 架構，訓練分兩階段，先做大規模多模態預訓練對齊 LLaDA2.0-mini-base，再做 GUI 監督微調。

喺 ScreenSpot-Pro、AndroidWorld、MobileWorld、WebVoyager 等六個基準上，LLaDA-UI 全部贏過 Qwen2.5-VL-7B，其中 ScreenSpot-Pro 52.9、AndroidWorld 53.5、WebVoyager 56.9，喺呢四項仲壓過 Qwen3-VL-8B；官方同時提到 API 速度最高有 8.95 倍 mean speedup。佢仲針對擴散解碼做咗一輪分析，包括動作合法性、軌跡長度、EOS 處理、denoising 步數同 block size 對表現嘅影響。

如果你做開手機或桌面自動化、需要 GUI Agent 處理長步驟任務又想避開自回歸延遲，LLaDA-UI 提供咗一套唔同嘅技術路線選擇；研究擴散語言模型落地嘅人，亦可以直接拎佢嘅 block-parallel 解碼行為做案例。

重點摘要

  • 約 16.7B 參數 MoE 擴散 GUI Agent，由 Inclusion AI、Ant Group Venus Team 與西湖大學共同發表
  • 骨幹為 LLaDA2.0-mini-base 配合 SigLIP 初始化嘅動態解像度 ViT
  • 六個 GUI 基準全部超越 Qwen2.5-VL-7B，ScreenSpot-Pro 等四項高過 Qwen3-VL-8B
  • 訓練涵蓋 100+ 中文與 70+ 英文手機 App，覆蓋 mobile、desktop、web、grounding
  • 附帶針對 block-wise 擴散解碼嘅分析，包括結構化動作有效性、EOS、denoising 步數等

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, UI/UX

BVB 用 影片內容令 AI 自動轉為 Blender 3D 場景

Share to X

BVB 拋開選擇題，要求 AI 代理直接用 Blender 重建 288 段真實室內影片，從程式碼品質判斷它到底有冇真正理解畫面內容。

BVB logo

現時大多數影片理解 benchmark 都係問 AI 「張圖入面有幾多張椅」，但 BVB（Blender-VideoBench）行另一條路：畀 AI 睇一段室內影片，然後叫佢自己寫 Blender 腳本，把場景、鏡頭動線逐個 primitive 砌返出嚟。如果代理人交到一個可以重新開啟、可以渲染嘅 .blend 檔，代表佢真係睇明條片。

每個代理會都被困喺同一個 Blender 4.2 Docker 沙盒入面，淨係可以用 bash 同 frames，仲有共享成本上限。禁止使用任何外部素材庫，幾何體全部由代理自己用基本操作砌出嚟。呢種「同條件競技」設計解決咗以往影片 benchmark 靠選擇題容易被 prompt hack 或者背答案嘅問題。

數據方面，BVB 用咗 ARKitScenes、ScanNet、ScanNet++ 嘅 288 段室內影片，配合 5,130 條時空題目，並涵蓋 10 個模型家族、共 51 個配置。評分用兩條軸：Dual VQA 睇重建場景保留幾多影片入面嘅時空事實；Latent Similarity 就用凍結影片 embedding 對比重建結果同原片嘅感知距離，再以平方根均值合成綜合分數。

對做空間智能、機器人感知或者影片理解研究嘅團隊嚟講，呢個 benchmark 提供咗一個更貼近「代理人真係要喺軟件入面操作世界」嘅測試場景。視頻生成、動畫製作或者世界模型團隊亦可以直接借用 Mini-BVB harness 喺自己 pipeline 度做壓力測試。

團隊結果顯示，最強配置喺 Latent Similarity 做到 88.6，但 Dual VQA 仲有明顯差距，代表現時頂級模型仲未做到「理解」同「重建」兩條線同步推進。呢個落差本身就係 BVB 想凸顯嘅訊號：識答題未必等於識建模。

重點摘要

  • 288 段真實室內影片，全部來自 ARKitScenes、ScanNet、ScanNet++ 嘅 held-out split。
  • 51 個代理配置橫跨 10 個模型家族，統一跑喺 Mini-BVB 沙盒同成本上限下。
  • 禁止使用外部素材庫，逼代理人由 Blender primitives 自己砌幾何。
  • 評分用 Dual VQA 加 Latent Similarity 兩條軸，避免單一指標偏廢。
  • 目標係可執行、可重新渲染嘅 .blend 檔案，而唔係文字描述或者單張圖。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, Embedding, 視覺模型, 多模態模型, 世界模型, Qwen, OpenAI, Gemini, Video, 軟件, 庫, Anthropic, 動畫, Dataset 數據集

PhysBrain 1.5 統一三項能力，機器人世界模型走進單一詞彙表

Share to X

PhysBrain 1.5 把語言、動作軌跡、未來畫面全部折成離散詞元，用同一個自迴歸骨幹同時回答、理解與預測。它基於 Qwen3-VL 構建，2B 與 8B 兩個版本已開源。

DeepCybo · Zhongguancun Academy · Zhongguancun Institute of Artificial Intelligence

PhysBrain 1.5 把機器人的「看懂」、「出手」、「預測下一步畫面」三件事，塞進同一個自迴歸模型裡。對做具身智能的人而言，最直接的體感差異是：不用再為理解、動作、預測各掛一個任務頭（task-specific head），全部以離散詞元（discrete tokens）在同一個 next-token prediction 目標下聯合學習。等於讓模型在推理時，能在語句、空間輸出、末端執行器軌跡、未來 RGB 影像之間自由切換。

對比同類路線，許多開源具身模型要嘛只做視覺語言理解，要嘛只做動作生成；PhysBrain 1.5 則強調三者共享詞彙表（vocabulary），並透過 ActionPiece 詞元把不同機械臂、控制配置統一在一個動作碼本（codebook）下。預訓練以人類互動影片為主，監督微調混入真人示教、真機軌跡與模擬經驗，等於把世界模型與策略模型壓進同一副骨架。

2B 與 8B 的權重已上傳 Hugging Face，開發者可透過官方評測工具 PhysBrainEvalKit 對齊 28 個具身基準測試。PhysBrain 1.5-8B 整體得分 72.5，在 14 個基準上排開源第一、10 個排第二。對機器人團隊或在做 VLA、世界模型研究的人，這套統一詞表的做法，是現時少數能把三者一齊端出來的開源選擇。

重點摘要：

  • 三能力統一：理解、動作生成、未來狀態預測共享同一個自迴歸骨幹與 next-token 目標，無需任務專屬輸出頭。
  • 基於 Qwen3-VL：以 Qwen3-VL 為起點，把語言、空間、軌跡與視覺詞元納入同一詞彙表。
  • 2B 與 8B 開源：權重已釋出至 Hugging Face，2B 適合邊緣部署，8B 瞄準基準測試表現。
  • 基準表現：PhysBrain 1.5-8B 在 28 個具身基準取得 72.5 整體分，14 項開源第一、10 項第二。
  • 配套工具：PhysBrainEvalKit 評測工具與官方 Demo 已上線，方便重現結果與部署測試。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, 世界模型, 模型訓練, Qwen, Video, Image, VLA, Robotic, 工具

Edge0 開源框架：Mac 本機推論 35B MoE，記憶體僅佔用 2.9 GB

Share to X

Edge0 是一套開源串流 MoE 推論框架，靠 SSD 專家卸載搭配 LoRA 還原與前置路由器，在 Apple Silicon 上把 35B 等級的 MoE 模型壓到 2.9 GB 活動記憶體就能跑，對想在筆電本機玩大型稀疏模型的人來說是個務實的選擇。

edge0

MoE 模型參數規模愈推愈大，但真正能在消費級硬體本機跑得動的方案一直不多。Edge0 想處理的就是這個落差：它把 SSD 專家卸載、Recover-LoRA 還原、以及 prerouter 路由預測這三招組合成一套可擴展框架，目前以 MLX 後端跑在 Apple Silicon（M1 至 M4）上，CUDA 後端列在路線圖但尚未支援。

隨框架釋出兩個模型檔：edge0-35b（基於 Qwen3.5-MoE 35B-A3B）與 edge0-8b（基於 Ling 3.0 bailing 混合架構），皆以 4-bit 量化釋出。LoRA 配重與 prerouter 頭已隨 checkpoint 一同發佈，edge0 serve 即可直接載入訓練好的完整管線，不用額外拼湊組件。短上下文情境下，edge0-35b 峰值活動記憶體約 2.9 GB，edge0-8b 約 1.0 GB；專家權重以 mmap 方式按需讀取，不會預先佔用 RAM。

TierReleased checkpointInference profile
edge0-35bEdge0/Edge0-35B-A3B-preview4-bit, 40 layers, 256 experts, prerouter K=4
edge0-8bEdge0/Edge0-8B-A1B-preview4-bit, 24 layers, 128 experts, prerouter K=8

使用介面提供 AutoModel、AutoConfig、AutoEngine 自動按模型名稱解析層級。所有 MLX 程式碼集中在 edge0/backends/mlx/，核心邏輯只依賴抽象層，因此日後加入 CUDA 等後端時不必重寫調度邏輯。

  • 類型：開源 MoE 推論框架（搭配兩個預訓練 checkpoint）。
  • 資源門檻：4-bit 35B 模型約 23 GB 磁碟、2.9 GB 活動記憶體；8B 模型約 4.2 GB 磁碟、1.0 GB 活動記憶體。
  • 硬體限制：目前僅支援 macOS Apple Silicon，CUDA 仍在規劃中。
  • 目標用戶：想在 M 系列 MacBook 上本機試跑大型稀疏模型的研究者、開發者，以及對 VRAM 不夠、又不願完全依賴雲端推論的團隊。
  • 差異化：相較純量化或純卸載方案，Edge0 把 prerouter 預測與 LoRA 還原包進同一條管線，讓卸載後的精度損失有明確補償路徑。

Edge0 屬於「先把本地大型 MoE 跑起來」這個務實路線上的工具，限制也很清楚：必須在 Apple Silicon 上跑、長上下文 KV 會額外吃記憶體、目前沒有非 Apple 平台的後端可用。對想驗證稀疏模型在消費硬體可行性的人，這套框架省去了自行整合卸載與適配器還原的功夫；對 NVIDIA 用戶，則要等 CUDA 後端落地。

GitHub

Categories: 開源, 模型, Qwen, NVIDIA, 框架, 工具, Mac, 蘋果

MiniMax H3 首尾幀工作流：ComfyUI 一張面板切換三模式、輸出帶聲影片

Share to X

這個 ComfyUI 工作流把 MiniMax H3 的首尾幀、Turbo LoRA、影片與音訊 VAE 全部封進子流程，外層直接選模型、改步數與時長，最後由 SaveVideo 輸出 24fps 的帶聲短片。

MiniMax H3 总控面板使用指南

想用兩張圖片框住一段六秒帶聲音的影片，再順手在 ComfyUI 面板上換模型、改步數，這個工作流把這件事收得很緊。整套流程把 MiniMax H3 的基礎模型、Qwen3-VL 文本編碼器、影片與音訊 VAE，以及四步 Turbo LoRA 全部塞進一個子流程，常用參數留在外層，內層只負責解析度對齊 32 倍數、計算幀數、把影片與音訊解碼後合成輸出。

跟一般 ComfyUI 影片節點相比，它最直接的差異是「首尾幀可選」：上方節點接首幀、下方節點接尾幀，兩個都填就是首尾幀生成，只填首幀就退回傳統圖生視頻，兩個都跳過則變成純文生視頻，三種模式不用複製工作流，直接在同一張畫布切換。音訊方面也省事，音訊 VAE 跟影片 VAE 分開載入，輸出端靠 SaveVideo 一次寫入 mp4，不用再手動合成聲道。

部署門檻主要在三個地方：ComfyUI 要支援子圖功能、要額外安裝 ComfyUI-MiniMax-H3-Turbo 節點包以取得 MiniMaxH3TurboLoRA，以及 Hugging Face 上的五個權重檔案要放到對應的 diffusion_models、text_encoders、vae、loras 目錄。JSON 內只記錄檔名而非圖片本體，使用前要把首幀、尾幀重新上傳；工作流也沒有附帶顯存或速度數據，必須自己測試本地硬體夠不夠撐得起 int8 基礎模型加 Qwen3-VL 32B 文本編碼器。

對已經在跑 ComfyUI、又想試 MiniMax H3 首尾幀能力的人，這個工作流算是最低摩擦的入口：不用自己接駁一堆節點，也不用研究子流程內部的取樣細節，外部面板就涵蓋了模型選擇、步數、目標時長、種子、寬高比與百萬像素等設定。對只想快速驗證概念或做短影音素材的內容創作者，這種「拉進畫布、換圖、寫 prompt、執行」的流程會比從零搭建省下不少時間。

重點摘要

  • 類型：ComfyUI 工作流 JSON，屬於模型整合與流程封裝類工具，目標是簡化 MiniMax H3 帶聲影片生成。
  • 核心能力：首尾幀、首幀圖生視頻、文生視頻三種模式可切換，並內建音訊解碼與合成。
  • 關鍵依賴：ComfyUI 需支援子圖，另需安裝 ComfyUI-MiniMax-H3-Turbo 節點包與五個 Hugging Face 模型檔案。
  • 輸出規格：24fps，寬高自動對齊 32 倍數，時長與步數可在外層調整。
  • 限制：未提供顯存峰值、速度與相容性測試，需自行驗證本地硬體；JSON 內只存圖檔名，圖片要重新上傳。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, Qwen, Video, Image, Audio, 工具, Content Creator, MiniMax

Marigold V2：把擴散 Transformer 改成一步深度估計模型

Share to X

只要一張普通 RGB 相片，就即時輸出高質素深度圖，連毛髮和髮絲等幼節都保留到。Marigold V2 把預訓練擴散 Transformer 改造為單步密集預測模型的開源項目，一張消費級 GPU 一星期內就能完成微調。

Project website

過去做單目深度估計，要麼靠傳統監督學習，要麼用擴散模型疊好多步去噪，兩者都唔易兼顧細節同效率。華為 Bayer Lab 開源 Marigold V2 走第三條路：直接把預訓練嘅擴散 Transformer（DiT）當成單步密集預測器，重新微調之後輸出深度、透視深度、法線、反照率等多種密集模態，毋須反覆去噪。對從業人員嚟講，呢個改動意味住一張普通 RGB 相可以即時變成帶細節嘅深度圖，毋須等幾秒去疊步驟，毛髮邊緣同髮絲呢類幼節都保留得到，貼近 SOTA 水準。

模型家族同訓練成本：每個 checkpoint 包含一組 rank-128 LoRA 適配器，配合 4-bit 量化嘅 DiT 主體，個別任務仲會附帶微調過嘅 VAE 解碼器。底層凍結嘅基礎模型會另外下載。整個微調流程用單張消費級 GPU 少於一星期就完成到，對個人開發者同細型實驗室都係可觸及嘅範圍。

程式碼結構清晰，方便二次開發：倉庫用 manifest graph 加 transform list 嘅方式定義數據集，網絡組件同損失函數都係讀寫 batch dict 嘅有序步驟，數據集定義、網絡圖、損失圖、優化排程四個層次分得幾開。對想擴展到新任務嘅人嚟講，只要跟住呢個結構加步驟就得，唔使由零砌起。

對比傳統多步擴散深度估計，Marigold V2 犧牲咗迭代式去噪嘅靈活性，但換嚟一步推理嘅速度同細節還原度；對比純監督方法，佢借用咗擴散模型對紋理同邊界嘅先天理解力，再加 LoRA 保持輕量。同一批權重仲可以用喺 metric depth completion 等下游任務，一個模型覆蓋多個密集預測場景。

**適合做 AR/VR、3D 重建、影像合成嘅中小團隊，或者想低成本試驗新密集預測任務嘅研究者，都會覺得呢個 setup 幾啱手。HuggingFace 上有對應嘅 demo 空間可以直接試，權重同訓練推理碼都已開源。

項目主頁 · GitHub · 模型

Categories: 開源, 華為, 模型, 模型訓練, Qwen, Image, 3D, 庫, Dataset 數據集
Page 1 of 18
1 2 3 … 18