InferNews

LynnReal-Omni 把十幾種影片任務塞進一個 32B 模型

Share to X

一個 32B 多模態擴散 Transformer，同時做文字生影片、圖生影片、動作控制、風格遷移、影片修復同長影片串流。Flash 版本更可喺單張 H100 上 377 毫秒出 22 帧 540p 短片。

LynnReal-Omni — Standard four-step and Flash three-step multimodal generation

LynnReal-Omni 想解決嘅，係影片生成工具鏈最煩嘅一件事：每加一個任務（動作控制、參考影像、風格遷移、編輯、修復）就要疊多一個模型或多一套 pipeline。作者選擇用一個 32B 共享多模態擴散 Transformer（跟 MiniMax H3 架構）一次過承載文字生影片、圖生影片、人體與手部姿勢控制、結構控制、omni-reference、風格遷移、影片編輯、退化影片修復，以至串流式長影片生成，仲可以接駁外觀參考、可編輯 3D render、遊戲錄影等異質輸入，等 Agent 可以喺同一個模型內組合視覺條件。

對比同類做法，最大差異係「統一框架」而非「任務專用模型」。每個源帧獨立編輯再組裝成無聲 24fps 影片，每帧只需四次 DiT forward，120 帧即 480 次 forward。輸入限制清楚：24fps、寬高需為 32 倍數、目前只支援 768p（1344×768 起手）。獨立逐帧編輯會帶來亮度或形狀嘅帧間抖動，作者亦坦白標示為已知限制。

對短片創作者、遊戲或 3D 團隊、Agent 開發者來講，好處係少咗一套模型接駁嘅工程成本；Agent 可以直接用外觀參考同 3D render 嚟組裝條件。Flash 版本（27B、三步生成、輕量 VAE decoder）將單張 H100 上 22 帧 540p 由 843 毫秒壓到 377 毫秒，為實時或互動應用鋪路。

項目已提供 ComfyUI workflow 涵蓋 t2v、i2v、r2v、pose2v、v2v 幾個入口，但作者明言仲係早期 beta，質量、兼容性同 bug 仍然存在，訓練代碼、部分訓練數據同更高效 DiT 預計稍後釋出。打算用佢做關鍵流程嘅團隊，宜先以小批量預覽（--indices 0,24,48 --keep-clips）確認穩定性再評估是否引入生產。

重點摘要：
– 一個 32B DiT 模型覆蓋十幾種影片任務，Agent 可直接組合異質視覺條件
– 每源帧四次 DiT forward，120 帧共 480 次；輸入限 24fps、寬高需 32 倍數、768p
– Flash 版本用 27B 加輕量 VAE，單張 H100 上 22 帧 540p 暖機生成耗 377 毫秒
– 獨立逐帧編輯會產生帧間亮度與形狀抖動，屬已知限制
– ComfyUI 支援 t2v、i2v、r2v、pose2v、v2v，目前屬早期 beta，訓練代碼尚未開源

GitHub · 模型

Categories: 開源, ComfyUI, Agentic, AI productions, 模型, 多模態模型, 模型訓練, Video, Image, 框架, 工具, Content Creator, 3D, MiniMax

AlayaVista：全景潛態驅動嘅可串流世界模型

Share to X

AlayaVista 從一張透視圖出發，建立 360° 全景先驗，再隨鏡頭動態演化作為視點潛態，逐區塊渲染並局部精煉所選畫面，做流暢且高保真嘅可控影片生成。

AlayaVista evolves panoramic states under camera control and renders and refines the requested perspective views.

想由一張普通圖片，邊拉鏡頭邊即時生成高質影片，而又唔丟失 360° 場景記憶？AlayaVista 就係為呢個矛盾而設計——佢屬於世界模型（World Model）類研究原型，處理嘅係可控、可串流嘅影片生成問題。

核心做法分三步：先用一張透視圖估出完整 360° 全景先驗，模擬出 VR 風格嘅場景記憶；之後鏡頭控制訊號會驅動呢啲全景潛態持續演化，保持全局一致性；最後系統只渲染用戶當前視角所在嘅區域，並用潛態視口渲染與局部精煉做高保真合成。為咗兼顧速度與質素，佢採用 chunk-autoregressive 逐區塊自迴歸生成，配合少步蒸餾（few-step distillation），令串流過程唔使逐幀重頭計，全部運算力集中在真正需要輸出嘅視窗。

比起傳統逐幀擴散或全景一次性輸出嘅做法，呢種「全景當記憶、視口當輸出」嘅分工換嚟兩個明顯取捨：視窗畫面更銳利、代價係鏡頭一轉就要重新做視口對齊；同時間全景一致性同幀率都受惠於 chunk 邊界設計，對長鏡頭平移類場景特別友好。

幾個重點摘要：

  • 全景記憶 + 局部渲染：以 360° 全景潛態維持場景上下文，鏡頭視口獨立精煉，避免整段重算。
  • 鏡頭可控串流：支援 user-controlled camera 訊號輸入，邊互動邊生成適合遊戲引擎、VR 預覽或 cinematic pre-vis。
  • 效率設計：chunk-autoregressive 加 few-step distillation，專注運算力於選定視窗。
  • 仍屬研究階段：roadmap 列明推理代碼同預訓練權重尚未釋出，目前只可睇 paper 與 project page 嘅 demo。

呢類模型對做互動敘事、VR 內容預覽、遊戲關卡 walkthrough 嘅團隊最有直接參考價值，因為佢直接處理「鏡頭會行、背景要穩」呢個常見卡位。對純做離線一鍵出片嘅用家嚟講，呢類串流設計嘅優勢未必即刻見效，但對需要低延遲、長時序一致嘅創作流程，呢條技術路線值得留意。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 視覺模型, 視頻模型, 世界模型, Video, Image, 框架, 教學

KaiNinja 將 3D 生成推到部件級 – 直接拆零件

Share to X

一張圖就能生成分件可拆的 3D 模型，毋須人手標註或語義分割。KaiNinja 用兩個 O-Voxel 體素保留部件接觸面，把原生 3D 生成器延伸到部件級。

KaiNinja teaser

以往想做一張椅子、可以分開拆件再重新組裝的 3D 模型，往往要事先畫遮罩或跑一套語義分割網絡，既費時又限制後續編輯彈性。KaiNinja 由 Alaya Lab 團隊提出，目標是把 TRELLIS.2 這類原生 3D 生成器直接延伸成「部件級」輸出，毋須遮罩或分割網絡就能從單張圖生成可拆分的部件網格。

模型輸出兩個 O-Voxel 體素，各自解碼後透過連通區分量化成獨立部件，同時保留部件之間的接觸面，避免拆件後出現破洞或懸空。換言之，它在現有 3D 生成流程中替代或補強的，就是那一步手動標註與分割。

對遊戲美術、3D 資產設計、以及需要快速做可編輯原型的團隊來說，這類即拆即改的部件輸出明顯降低後製成本。雖然目前只釋出技術報告與項目頁面，推斷碼與預訓練權重尚未開源，但官方展示的下游材質替換與手繪動畫片段，已能看出部件分離對後續工序的實質幫助。

官方在 986 個物件的評測中，以匈牙利配對方式同時報告整體與部件級指標，在 CD、F1、mIoU 七個項目上均領先 X-Part、OmniPart、PartPacker、AutoPartGen 等同類方法，亦勝過用同一語料微調過的 TRELLIS.2。Fail 率（即整體 CD 大於 0.1 的比例）亦由 5.4% 降至 0.7%，代表部件拆分並沒有犧牲整體幾何質素。

重點摘要

  • 輸入單張圖片即可輸出部件級 3D 網格，免遮罩免分割網絡
  • 以兩個 O-Voxel 體素保留部件接觸面，避免拆件破洞
  • 在 986 件評測中，部件與整體指標同步領先 OmniPart、PartPacker、AutoPartGen
  • Fail 率由 TRELLIS.2 的 5.4% 降至 0.7%，整體幾何質素未受部件任務拖累
  • 目前僅有技術報告與項目頁面，源碼與權重標示為 Coming soon

項目主頁 · GitHub

Categories: 開源, 騰訊, AI productions, 模型, Image, 3D, 動畫

PhysBrain 1.5 統一三項能力，機器人世界模型走進單一詞彙表

Share to X

PhysBrain 1.5 把語言、動作軌跡、未來畫面全部折成離散詞元，用同一個自迴歸骨幹同時回答、理解與預測。它基於 Qwen3-VL 構建，2B 與 8B 兩個版本已開源。

DeepCybo · Zhongguancun Academy · Zhongguancun Institute of Artificial Intelligence

PhysBrain 1.5 把機器人的「看懂」、「出手」、「預測下一步畫面」三件事，塞進同一個自迴歸模型裡。對做具身智能的人而言，最直接的體感差異是：不用再為理解、動作、預測各掛一個任務頭（task-specific head），全部以離散詞元（discrete tokens）在同一個 next-token prediction 目標下聯合學習。等於讓模型在推理時，能在語句、空間輸出、末端執行器軌跡、未來 RGB 影像之間自由切換。

對比同類路線，許多開源具身模型要嘛只做視覺語言理解，要嘛只做動作生成；PhysBrain 1.5 則強調三者共享詞彙表（vocabulary），並透過 ActionPiece 詞元把不同機械臂、控制配置統一在一個動作碼本（codebook）下。預訓練以人類互動影片為主，監督微調混入真人示教、真機軌跡與模擬經驗，等於把世界模型與策略模型壓進同一副骨架。

2B 與 8B 的權重已上傳 Hugging Face，開發者可透過官方評測工具 PhysBrainEvalKit 對齊 28 個具身基準測試。PhysBrain 1.5-8B 整體得分 72.5，在 14 個基準上排開源第一、10 個排第二。對機器人團隊或在做 VLA、世界模型研究的人，這套統一詞表的做法，是現時少數能把三者一齊端出來的開源選擇。

重點摘要：

  • 三能力統一：理解、動作生成、未來狀態預測共享同一個自迴歸骨幹與 next-token 目標，無需任務專屬輸出頭。
  • 基於 Qwen3-VL：以 Qwen3-VL 為起點，把語言、空間、軌跡與視覺詞元納入同一詞彙表。
  • 2B 與 8B 開源：權重已釋出至 Hugging Face，2B 適合邊緣部署，8B 瞄準基準測試表現。
  • 基準表現：PhysBrain 1.5-8B 在 28 個具身基準取得 72.5 整體分，14 項開源第一、10 項第二。
  • 配套工具：PhysBrainEvalKit 評測工具與官方 Demo 已上線，方便重現結果與部署測試。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, 世界模型, 模型訓練, Qwen, Video, Image, VLA, Robotic, 工具

ComfyUI-DLSS5-Enhancer：強化影片材質細節

Share to X

呢個 ComfyUI 節點包直接調用原生 D3D12 渲染管線，把遊戲級嘅 DLSS 5 Neural Rendering 套到影片幀上面，重建皮膚、頭髮同布料嘅材質反應，而不只是銳化。

Repository image for Blueforcer/ComfyUI-DLSS5-Enhancer

一般後製銳化或 AI upscale 工具處理嘅多數係邊緣同紋理，皮膚嘅次表面散射、頭髮嘅光線穿透呢類材質反應好難靠濾鏡模擬。Blueforcer/ComfyUI-DLSS5-Enhancer 選擇咗另一條路：將 ComfyUI 內部嘅 RGBA8 幀傳去一個原生 D3D12 worker，由 ReShade 載體配合 RenoDX DLSS 5 add-on 觸發 NGX feature 18，重建完再送返 ComfyUI，仲支援 1.5x 到 3x 升頻。影片本身冇 motion vectors，佢哋用 OpenCV DIS 做稠密光流逐幀估算，並喺場景切換時自動重置 history，等渲染器唔會將錯誤嘅時序資料傳入去。

呢個項目嘅類型係工具 / 節點包，定位好明確：畀 ComfyUI 用戶喺影像同影片工作流直接用 DLSS 5 嘅神經渲染器。佢唔係一個自帶模型嘅外掛，神經組件係 NVIDIA、ReShade、RenoDX 嘅原生 binary，呢個 repo 只負責實作 client side 嘅二進制協議，包括 session 建立、解像度協商、幀序、取消同診斷。

NVIDIA DLSS 5 In ComfyUI Changes EVERYTHING! Full Setup Guide

硬件要求 NVIDIA RTX 50 系列原生支援，透過社區 runtime 可以喺 RTX 40 同 30 上面跑，RTX 20 或更早直接拒絕。ComfyUI 需要 V3 node API（comfy_api.latest），Python 依賴 numpy、av 同 OpenCV，ComfyUI portable 通常已經內建。

幾個重要限制：nr intensity 鎖死喺 1.0，1.0、1.5、2.0 嘅輸出 bit identical；skin structure strength 必須開啟 automatic mask 先有效，閂咗之後所有皮膚參數都唔再產生變化；nr preset 喺任何數值下都係 bit identical。只有 local structure strength 同 local tone strength 係全程範圍真正可調。預設、J、K 幾個 dlss model preset 嘅源幀 detail energy 大約喺 0.56x 左右，呢個唔係銳化工具想要嘅走向，反映嘅係材質重建比邊緣強化重要嘅設計取向。

適合已經用 ComfyUI 做影片後製、CG 合成、AI 動畫修復或者數字人相關工作嘅團隊同個人創作，尤其係想處理 skin、hair、fabric 呢類容易被傳統濾鏡抹平嘅材質細節嘅場景。留意到嘅限制係 GPU 受限於 NVIDIA，而且沒有 Python API，調用方式只能透過 ComfyUI 節點流程。

GitHub

Categories: 開源, ComfyUI, AI productions, 數字人, NVIDIA, API, Video, Image, 工具, 3D, Python, 動畫

Wenyi 把整本書放進記憶：一次譯完一本書，角色名終於唔再走樣

Share to X

Wenyi 是一款針對小說、專書同長篇敘事嘅開源翻譯工具，主打逐章掃描、術語即時對齊同可斷點續譯，支援 DeepSeek、OpenAI、Gemini 等多個模型供應商。

wenyi emblem

好多人試過用大型語言模型 (LLM) 翻譯小說或學術專書，往往喺第三、四章就發現角色名譯咗另一個譯法，或者術語前後矛盾，要回頭逐段人手修正。Wenyi 就係針對呢個常見痛點而設計嘅 Python 開源工具，主打長篇文本嘅翻譯流程。佢會事先將全書掃描一次，為每個章節建立摘要同全書概要，再喺逐批翻譯時一齊注入，令模型對脈絡同角色關係有長期記憶。

工具同時內建術語管理模組，會隨翻譯過程自動抽取人名、地名同專有詞彙，並偵測前後唔一致嘅譯法，要求人手仲裁，再影響後續批次。咁樣嘅設計對譯者、編輯同人氣翻譯團隊特別有用，可以避免「譯到後期先發現譯名漂移」嘅慘況。Wenyi 仲提供可選嘅多階段品管：先以主力模型做初譯，再由較強模型做潤稿，最後以證據導向嘅方式做整書 AI 審閱，適合對品質要求高、但又想慳人手嘅場景。

操作上，每批翻譯都有 checkpoint 落盤，章節狀態有獨立追蹤，任何時候中斷都可以用同一個指令續譯。支援嘅模型供應商包括 DeepSeek、OpenAI、OpenRouter、OrcaRouter、Google Gemini、Ollama、vLLM 及任何 OpenAI 兼容端點，可分為三個方便嘅 tier，亦可每個操作揀唔同模型。輸出格式方面，佢會直接寫返入原 EPUB 嘅 XHTML 模板，嘗試保留樣式、圖片、目錄同錨點，對電子書排版敏感嘅讀者會幾啱用。

要注意嘅限制係，Wenyi 仍然依賴上游模型嘅語言能力同上下文窗口，對語氣、文風同微妙雙關嘅判斷無可避免會受模型本身限制；長篇翻譯嘅成本同時間亦會隨章節增加。文檔列明需要 Python 3.10 或以上，社群主要喺 Discord 運作。

重點摘要：
– 全書預掃描 (Whole-book prescan)：每章摘要 + 全書概要同時注入翻譯批次
– 即時術語同衝突偵測，可人手決議後回寫後續翻譯
– 支援 DeepSeek、OpenAI、Gemini、Ollama 等多 LLM，可分三層 tier
– 提供 checkpoint 續譯，中斷後同一指令可接返
– 多階段品管：初譯 → 強模型潤稿 → 全書 AI 審閱，並原生保留 EPUB 排版

GitHub

Categories: 開源, Google, OpenAI, DeepSeek, Gemini, Image, 工具, Ollama, Python

ComfyUI-MiniMaxH3-TimelineDirector：一張圖跑出無斷點長影片

Share to X

想在 ComfyUI 內一次過生成超過一分鐘的影片，又要角色口型與背景音樂全程對得齊？這套 MiniMax H3 Timeline Director 插件把分段、續接、漂移修正全部收埋喺一張圖。

Creator WeCom contact card

MiniMax H3 官方最令人卻步嘅限制之一，就係單次生成時長偏短，想做一段完整 Demo 或者長 Demo 都要靠 Loop 節點逐段駁，駁完口型同音軌成日走樣。ComfyUI-MiniMaxH3-TimelineDirector 嘅切入點正正喺呢個位：佢提供一個 Full Timeline Director 工作流，把 T2V、Image Reference、音訊驅動、角色替換、動作遷移、數字人同一條龍長片生成，全部塞入同一張 ComfyUI 圖。

插件會把目標時長拆成連續 GEN 窗口，並用同一個共享 seed 串接前一段嘅 AV-latent 尾部，配合 Drift-Control 影片遮罩同 Soft AV 音訊連續性處理，再做 overlap 移除並最終同步輸出成片。長度上限唔再由 Loop 節點或者重複 Sampler 鏈決定，而係睇本地 VRAM、RAM、磁碟空間同 ComfyUI 執行限制。

佢同一般「駁長片」做法最大嘅差異，係對齊音訊嘅方式。當你將一段長 MP3 標記為 Locked Original Audio，插件會將聲音按 sample 位置精確切片，注入每段 AV latent，並以零音訊降噪遮罩保留；Timeline 比音源短就截斷，比音源長就用靜音補尾，用戶唔使再人手對 MP3 metadata 或 codec priming delay。Long-form digital humans 同角色演唱場景亦靠同一條路徑處理：角色圖同長 soundtrack 鎖定後，手動 GEN 窗口即可逐段推出口型同步。

時間軸方面，每段 Clip 設有三種模式——Fixed Guide、Editable Reference、Boundary Only，支援 move、trim、split、delete、snap 同數值定位；只有同 cyan 生成範圍相交嘅媒體先會進入當前 Reference 或 Guide 計劃，避免雜訊干擾。

實際最易受惠嘅人，係要做完整 MV 級 Demo、產品概念片、教學影片、或者 AI 短劇分鏡嘅創作者同中小型團隊。官方已放出兩條約 52.6 秒 / 1263 幀嘅直接生成示範，包括純 latent 續接同 48 幀 Reference overlap 兩個 case，可直接喺 GitHub Release 拎 MP4 對照效果。

  • 類型：ComfyUI 插件 / 時間軸導演工具
  • 核心能力：一張圖內分段續接生成無斷點長影片，音訊 sample-sliced 注入 AV latent
  • 同類差異：唔靠通用 Loop 節點或重複 Sampler 鏈，直接由 AV-latent 尾部續接
  • 適用場景：長片數字人、角色演唱、概念片、教學影片等需要連貫長片嘅創作
  • 部署方式：經 ComfyUI Manager 或手動放入 custom_nodes 目錄後啟動 ComfyUI，載入 example_workflows 內嘅 All-in-One 工作流即可

項目主頁 · GitHub

Categories: 開源, ComfyUI, AI productions, 數字人, Video, Image, Audio, 教學, 工具, Content Creator, 音樂, MiniMax

SyncWorld：用一段影像校準，讓世界模型零樣本遷移到新機械人

Share to X

同一個數值動作換了鏡頭或機械人就失效？SyncWorld 以「視覺校準片段」作為提示，讓單一世界模型即時推斷動作與畫面嘅對應關係，毋須再為每個環境重新微調。

SyncWorld teaser

動作數值喺像素空間其實唔係通用語言——換鏡頭、換機械人位置、換機械結構，同一個動作指令就會產生唔同嘅視覺效果，亦即係點解用混合數據訓練出嚟嘅動作條件世界模型（action-conditioned world model）喺新場景入面成日失效。SyncWorld 嘅切入角度係：既然動作同畫面嘅對應因環境而異，不如用一段包含每個可控自由度（DoF）嘅短影像校準片段（visual calibration episode）做 in-context prompt，等模型喺推論時即場估計呢套環境嘅 Action–Visual Mapping，從而把單一 checkpoint 變成零樣本（zero-shot）模擬器，毋須額外訓練。

基於 NVIDIA Cosmos-Framework 改寫而成，並非由零開始砌嘅新網絡。對比一般針對單一機械人做 fine-tuning 嘅做法，SyncWorld 用視覺證據取代權重記憶；訓練時混入 calibration context 之後，模型仲學識喺冇 calibration 嘅情況下落返去用互動歷史做預測。程式庫提供分散式 FSDP trainer、typed TOML 食譜同原生 DCP checkpoint，可以直接匯出 HuggingFace safetensors；評估就用全段自回歸 rollout，配合 PSNR、SSIM、LPIPS 量度像素相似度。

直接受惠：需要喺多款 xArm、ARX5、KUKA、Franka Panda、UR5e 等異質平台上做 sim-to-real 想像嘅機械人研究團隊；做測試時策略改進（test-time policy improvement）而唔想再花錢訓練嘅 RL 團隊；以及想避開「每個新 setup 都要重新標註動作」呢個樽頸嘅數據團隊。Demo 顯示佢能準確模擬未見過嘅設定入面嘅動作後果，並令策略喺測試階段靠 rollout 改善而毋須再訓練。

重點摘要：

  • 以視覺校準片段作為 in-context prompt，免去 per-deployment fine-tuning
  • 訓練同時令模型能喺冇 calibration 時回退用互動歷史
  • 基於 NVIDIA Cosmos-Framework 改寫，提供 FSDP 訓練同 DCP checkpoint
  • 評估用全段自回歸 rollout，配 PSNR、SSIM、LPIPS 指標
  • 模型權重同評測集已開喺 HuggingFace：yyuncong/SyncWorld、yyuncong/SyncWorld-Evaluation

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 世界模型, 模型訓練, NVIDIA, Image, Robotic, 框架, AGI, Dataset 數據集

MiniMax H3 首尾幀工作流：ComfyUI 一張面板切換三模式、輸出帶聲影片

Share to X

這個 ComfyUI 工作流把 MiniMax H3 的首尾幀、Turbo LoRA、影片與音訊 VAE 全部封進子流程，外層直接選模型、改步數與時長，最後由 SaveVideo 輸出 24fps 的帶聲短片。

MiniMax H3 总控面板使用指南

想用兩張圖片框住一段六秒帶聲音的影片，再順手在 ComfyUI 面板上換模型、改步數，這個工作流把這件事收得很緊。整套流程把 MiniMax H3 的基礎模型、Qwen3-VL 文本編碼器、影片與音訊 VAE，以及四步 Turbo LoRA 全部塞進一個子流程，常用參數留在外層，內層只負責解析度對齊 32 倍數、計算幀數、把影片與音訊解碼後合成輸出。

跟一般 ComfyUI 影片節點相比，它最直接的差異是「首尾幀可選」：上方節點接首幀、下方節點接尾幀，兩個都填就是首尾幀生成，只填首幀就退回傳統圖生視頻，兩個都跳過則變成純文生視頻，三種模式不用複製工作流，直接在同一張畫布切換。音訊方面也省事，音訊 VAE 跟影片 VAE 分開載入，輸出端靠 SaveVideo 一次寫入 mp4，不用再手動合成聲道。

部署門檻主要在三個地方：ComfyUI 要支援子圖功能、要額外安裝 ComfyUI-MiniMax-H3-Turbo 節點包以取得 MiniMaxH3TurboLoRA，以及 Hugging Face 上的五個權重檔案要放到對應的 diffusion_models、text_encoders、vae、loras 目錄。JSON 內只記錄檔名而非圖片本體，使用前要把首幀、尾幀重新上傳；工作流也沒有附帶顯存或速度數據，必須自己測試本地硬體夠不夠撐得起 int8 基礎模型加 Qwen3-VL 32B 文本編碼器。

對已經在跑 ComfyUI、又想試 MiniMax H3 首尾幀能力的人，這個工作流算是最低摩擦的入口：不用自己接駁一堆節點，也不用研究子流程內部的取樣細節，外部面板就涵蓋了模型選擇、步數、目標時長、種子、寬高比與百萬像素等設定。對只想快速驗證概念或做短影音素材的內容創作者，這種「拉進畫布、換圖、寫 prompt、執行」的流程會比從零搭建省下不少時間。

重點摘要

  • 類型：ComfyUI 工作流 JSON，屬於模型整合與流程封裝類工具，目標是簡化 MiniMax H3 帶聲影片生成。
  • 核心能力：首尾幀、首幀圖生視頻、文生視頻三種模式可切換，並內建音訊解碼與合成。
  • 關鍵依賴：ComfyUI 需支援子圖，另需安裝 ComfyUI-MiniMax-H3-Turbo 節點包與五個 Hugging Face 模型檔案。
  • 輸出規格：24fps，寬高自動對齊 32 倍數，時長與步數可在外層調整。
  • 限制：未提供顯存峰值、速度與相容性測試，需自行驗證本地硬體；JSON 內只存圖檔名，圖片要重新上傳。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, Qwen, Video, Image, Audio, 工具, Content Creator, MiniMax

PWM(Programmable World Model) 以世界模型驅動影片生成

Share to X

AlayaLab 開源的 Programmable World Model 把世界狀態與畫面生成拆開管理，讓角色、事件與鏡頭外的物件都能被查詢、修改與驗證，不再只靠潛在影像記憶。

Programmable World Model overview

影片世界模型能夠即時渲染出像真的畫面，但畫面背後其實欠缺一部「世界引擎」——狀態藏在影像序列裡，難以檢查、編輯或驗證，鏡頭一轉，鏡頭外的角色與潛在事實就會被悄悄遺忘。AlayaLab 開源的 Programmable World Model（簡稱 PWM）正正針對這個痛點，把世界狀態的維護與視覺生成徹底解耦，由一個 state executor 負責推進世界狀態，再由 deterministic compiler 把以 state-augmented 3D OBB 描述的狀態投影成 pixel-aligned controls，最後才交給影片模型渲染畫面。

這個框架真正解決的問題，是讓世界「可被編程」。同一份世界狀態可以驅動任意鏡頭、任意視覺風格，角色即使離開畫面依然存在，事件具備不可逆性，亦可由規則觸發；使用者可以用類似 WASD 的方式操控，並預先以語言定義世界規則。一個 VLM-based agent 會讀取參考圖與開放式文字，自動寫出可執行的世界規格。

PWM 屬於框架類項目，定位接近研究原型。與 Genie 3、GameNGen 等同類做法相比，PWM 的取捨在於放棄純端到端的潛在表達，換取可查詢、可驗證、可長時序的狀態；對於遊戲開發者、需要可控互動世界的模擬研究者，以及想用程式化方式生成可控影片內容的團隊，這種顯式狀態設計明顯更貼近「世界引擎」的真正需求。

目前 PWM 已釋出技術報告，推理程式碼與預訓練權重尚未開源，因此暫時只能從紙面層面理解並等待官方補上權重。從架構看，這個方向對於追求可控性與持久性的應用場景會有明顯吸引力。

重點摘要：

  • 狀態與畫面解耦：狀態由 executor 維護，畫面由影片模型渲染，互不綁定
  • 可查詢、可驗證的世界事實：角色、事件與鏡頭外實體都能被檢查與修改
  • 持久世界：鏡頭外的物件與潛在狀態不再被遺忘，長時序互動更可靠
  • VLM agent 自動生成世界規格：以參考圖加文字描述即可寫出可執行的世界規則
  • 尚待補完：推理程式碼與預訓練權重仍未釋出，目前以技術報告形式呈現

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 世界模型, Video, Image, 框架, 3D
Page 1 of 16
1 2 3 … 16