AI productions

OST：可撤回串流推理的「過早下結論」

2026 年 9 月 15 日

香港大學與香港科大（廣州）團隊開源 Omni-Streaming Thinking（OST）針對解決串流影音推理中視覺先到、聲音後到的錯位問題。

看串流影片做即時推理，最常見的卡位是視覺線索先到位、聲音事件卻還在展開——模型若把視覺猜測當成事實寫進記憶，後續聲音即使推翻它，舊結論仍可能一路延續下去。OST 正是針對這個「提早跨模態承諾」的失敗模式設計：每一個未解的詮釋都被記成一條 claim，附帶預期事件、指定驗證模態、證據到期時段，以及依賴它的狀態；期限一到就用對應模態的證據覆核，被推翻時連帶下修相關狀態，再由引導式解碼產出修正後的回應。

OST 以凍結的骨幹模型為基礎，所有新增的部分都是 adapter、soft prompt 或輕量 head，骨幹參數完全不會被改動。聲音與視覺各自有獨立的保留緩衝區與配額，避免高密度的視覺 token 把聲音擠出記憶；舊狀態以四向折疊收進金字塔結構，讓推理上下文維持在有界範圍內。回答閘門則會延遲輸出，直到所有影響答案的 claim 都完成覆核。

適合研究串流多模態推理、想重播或審視 claim–verify–retract 循環的團隊，會比較容易從中受益。程式碼只涵蓋推論與執行記錄，不包含訓練、評測 harness 或診斷 benchmark。

重點摘要：

類型：串流影音推理的推論實作，骨幹凍結，僅加掛 adapter 與 head。
核心機制：claim–verify–retract，未確認詮釋附帶驗證模態與到期時段。
記憶設計：聲音與視覺分開配額，舊狀態四向折疊維持上下文有界。
輸出控制：answer gate 會等到關鍵 claim 覆核完成才放行。
範圍限制：僅推論，不含訓練、評測 harness 與 OST-DiagBench 資料集。

項目主頁 · GitHub · 數據集

Categories: 開源, 香港大學, 香港科技大學, Agentic, AI productions, 模型, 多模態模型, 模型訓練, Video, Audio, 香港, Dataset 數據集

video-to-h3-prompt SKILL：逐幀反推參考影片，自動生成可貼即用 H3 提示詞

2026 年 9 月 13 日

項目把『看幾幀就寫 vibe』的拍腦袋流程，換成五通道取證管線：密集抽幀、音頻交叉驗證、因果事件鏈、剪輯層分離，最後產出對應 MiniMax H3 五種輸入模式的完整模板。

Repository image for LoveRain1997/video-to-h3-prompt

如果你試過把一段參考影片丟給 AI 影片模型、要它重做或延伸，應該都撞過同一面牆：憑『整體 vibe』寫提示詞，往往會錯過動作、把 BGM 誤認為現場聲。今次做的是把這個『創作猜測』變成可驗證的逆向工程，輸出可直接貼進 MiniMax H3 的提示詞骨架。

做法上，它不放棄『一對多逆問題』的本質——同一段畫面，背後劇本可以是 A 也可以是 B。它讓多個候選劇本同時存在，再用 4–8fps 密集抽幀和 0.5s RMS 去裁決哪個版本站得住。同時，頻譜圖負責分辨音樂與環境聲。

它對剪輯層的處理也相當細：定格哏、白色閃屏、漫畫風的集中線／網點／狀聲詞，全部歸入 editing 與 overall_soundscape，不會和實景動作混在一起。因果事件鏈（trigger→action→reaction）則把袖口、單手、車頭外殼這類畫面邊緣的施力者也算進演員名單，避免關鍵 3–5 幀就這樣消失。

對 Coser／換角場景，它只換外表不改劇本，再做動作相容性檢查、分級道具，並把動漫設定翻譯成真人 cosplay，最後吐出一張替換表。輸出端覆蓋 T2VA、I2VA、FL2VA、L2VA 的 14 欄模板，以及 Ref2VA 的六段模板，全部用 <Subject>/<Picture>/<Video>/<Audio> 標籤紀律收束。

適合想用影片反推 AI 影片提示詞的人：二創作者、廣告分鏡、動漫改編的工作流。比起『看幾幀就 vibe』，它的取捨是慢、但每一步都有可追溯證據；代價是要提供參考影片與可選劇本線索，並接受密集取證帶來的額外處理成本。

重點摘要：
– 五通道取證管線取代單一直覺寫 prompt
– 密集抽幀 + 音頻峰值用作裁決證據，而非裝飾
– 剪輯層、漫畫後製、鏡頭外施力者都獨立建模
– 覆蓋 H3 五種輸入模式，欄位與標籤紀律齊備
– 換角只動外表，動作相容性與道具分級有 SOP

GitHub

Categories: 開源, ComfyUI, Agentic, AI productions, Video, Audio, 提示詞, Content Creator, MiniMax, Skill 技能

ComfyUI-DLSS5-Enhancer：強化影片材質細節

2026 年 9 月 13 日

直接調用原生 D3D12 渲染管線，把遊戲級嘅 DLSS 5 Neural Rendering 套到影片幀上面，重建皮膚、頭髮同布料嘅材質反應。

Repository image for Blueforcer/ComfyUI-DLSS5-Enhancer

一般後製銳化或 AI upscale 工具處理嘅多數係邊緣同紋理，皮膚嘅次表面散射、頭髮嘅光線穿透呢類材質反應好難靠濾鏡模擬。Blueforcer/ComfyUI-DLSS5-Enhancer 選擇咗另一條路：將 ComfyUI 內部嘅 RGBA8 幀傳去一個原生 D3D12 worker，由 ReShade 載體配合 RenoDX DLSS 5 add-on 觸發 NGX feature 18，重建完再送返 ComfyUI，仲支援 1.5x 到 3x 升頻。影片本身冇 motion vectors，佢哋用 OpenCV DIS 做稠密光流逐幀估算，並喺場景切換時自動重置 history，等渲染器唔會將錯誤嘅時序資料傳入去。

呢個項目嘅類型係工具 / 節點包，定位好明確：畀 ComfyUI 用戶喺影像同影片工作流直接用 DLSS 5 嘅神經渲染器。佢唔係一個自帶模型嘅外掛，神經組件係 NVIDIA、ReShade、RenoDX 嘅原生 binary，呢個 repo 只負責實作 client side 嘅二進制協議，包括 session 建立、解像度協商、幀序、取消同診斷。

NVIDIA DLSS 5 In ComfyUI Changes EVERYTHING! Full Setup Guide

Watch this video on YouTube

硬件要求 NVIDIA RTX 50 系列原生支援，透過社區 runtime 可以喺 RTX 40 同 30 上面跑，RTX 20 或更早直接拒絕。ComfyUI 需要 V3 node API（comfy_api.latest），Python 依賴 numpy、av 同 OpenCV，ComfyUI portable 通常已經內建。

幾個重要限制：nr intensity 鎖死喺 1.0，1.0、1.5、2.0 嘅輸出 bit identical；skin structure strength 必須開啟 automatic mask 先有效，閂咗之後所有皮膚參數都唔再產生變化；nr preset 喺任何數值下都係 bit identical。只有 local structure strength 同 local tone strength 係全程範圍真正可調。預設、J、K 幾個 dlss model preset 嘅源幀 detail energy 大約喺 0.56x 左右，呢個唔係銳化工具想要嘅走向，反映嘅係材質重建比邊緣強化重要嘅設計取向。

適合已經用 ComfyUI 做影片後製、CG 合成、AI 動畫修復或者數字人相關工作嘅團隊同個人創作，尤其係想處理 skin、hair、fabric 呢類容易被傳統濾鏡抹平嘅材質細節嘅場景。留意到嘅限制係 GPU 受限於 NVIDIA，而且沒有 Python API，調用方式只能透過 ComfyUI 節點流程。

GitHub

Categories: 開源, ComfyUI, AI productions, 數字人, NVIDIA, API, Video, Image, 工具, 3D, Python, 動畫

ComfyUI-MiniMaxH3-TimelineDirector：一張圖跑出無斷點長影片

2026 年 9 月 13 日

想在 ComfyUI 內一次過生成超過一分鐘的影片，又要角色口型與背景音樂全程對得齊？這套 MiniMax H3 Timeline Director 插件把分段、續接、漂移修正全部收埋喺一張圖。

MiniMax H3 官方最令人卻步嘅限制之一，就係單次生成時長偏短，想做一段完整 Demo 或者長 Demo 都要靠 Loop 節點逐段駁，駁完口型同音軌成日走樣。ComfyUI-MiniMaxH3-TimelineDirector 嘅切入點正正喺呢個位：佢提供一個 Full Timeline Director 工作流，把 T2V、Image Reference、音訊驅動、角色替換、動作遷移、數字人同一條龍長片生成，全部塞入同一張 ComfyUI 圖。

插件會把目標時長拆成連續 GEN 窗口，並用同一個共享 seed 串接前一段嘅 AV-latent 尾部，配合 Drift-Control 影片遮罩同 Soft AV 音訊連續性處理，再做 overlap 移除並最終同步輸出成片。長度上限唔再由 Loop 節點或者重複 Sampler 鏈決定，而係睇本地 VRAM、RAM、磁碟空間同 ComfyUI 執行限制。

佢同一般「駁長片」做法最大嘅差異，係對齊音訊嘅方式。當你將一段長 MP3 標記為 Locked Original Audio，插件會將聲音按 sample 位置精確切片，注入每段 AV latent，並以零音訊降噪遮罩保留；Timeline 比音源短就截斷，比音源長就用靜音補尾，用戶唔使再人手對 MP3 metadata 或 codec priming delay。Long-form digital humans 同角色演唱場景亦靠同一條路徑處理：角色圖同長 soundtrack 鎖定後，手動 GEN 窗口即可逐段推出口型同步。

時間軸方面，每段 Clip 設有三種模式——Fixed Guide、Editable Reference、Boundary Only，支援 move、trim、split、delete、snap 同數值定位；只有同 cyan 生成範圍相交嘅媒體先會進入當前 Reference 或 Guide 計劃，避免雜訊干擾。

實際最易受惠嘅人，係要做完整 MV 級 Demo、產品概念片、教學影片、或者 AI 短劇分鏡嘅創作者同中小型團隊。官方已放出兩條約 52.6 秒 / 1263 幀嘅直接生成示範，包括純 latent 續接同 48 幀 Reference overlap 兩個 case，可直接喺 GitHub Release 拎 MP4 對照效果。

類型：ComfyUI 插件 / 時間軸導演工具
核心能力：一張圖內分段續接生成無斷點長影片，音訊 sample-sliced 注入 AV latent
同類差異：唔靠通用 Loop 節點或重複 Sampler 鏈，直接由 AV-latent 尾部續接
適用場景：長片數字人、角色演唱、概念片、教學影片等需要連貫長片嘅創作
部署方式：經 ComfyUI Manager 或手動放入 custom_nodes 目錄後啟動 ComfyUI，載入 example_workflows 內嘅 All-in-One 工作流即可

項目主頁 · GitHub · Youtube 教學

Categories: 開源, ComfyUI, AI productions, 數字人, Video, Image, Audio, 教學, 工具, Content Creator, 音樂, MiniMax

World in World 把 14B 世界模型變成你的虛擬攝影機

2026 年 9 月 12 日

想用一條普通影片就做到 360 度重拍、子彈時間、視角切換？World in World 讓凍結的 14B 影片世界模型 LingBot-World 2.0 直接「走進」影片，無需微調，單卡 80GB GPU 即跑。

對於做特效、剪輯或沉浸式內容的人來說，最頭痛的往往不是生成新畫面，而是手上明明有一段拍好的影片，卻想換個角度、換條鏡頭軌跡重新「拍一次」。Westlake-AGI-Lab 推出的 World in World，正是針對這個卡位：給定一段輸入影片和一條新相機路徑，模型會重新生成同一事件在新視角下的畫面，不用訓練、不用微調。

它本質是一個影片再攝影框架，骨幹是一個凍結的 14B 影片世界模型 LingBot-World 2.0。技術上沒有走 latent editing 或 GAN 反轉的老路，而是把所有可控制的訊號——來源影片、場景幾何、相機參數——全部變成視覺證據：先用深度把來源幀提升到 3D，依新相機路徑 warp 過去，再當成額外 key/value 塞進模型自己的 attention，讓模型「看到」新相機應該看到什麼，缺失的部分由它自己補完。這種做法讓相機軌跡、人物動作與場景幾何保持高度一致。

從結果來看，它已經放出自由相機重拍、子彈時間和影片編輯三項功能；大型角度 360 度重拍結合 3D 人體代理、跨模型記憶共享、長影片 frustum memory、串流互動生成、動作遷移等仍在路線圖中。對特效團隊、短片創作者、遊戲過場預覽、AR/VR 內容開發者來說，可以用一條現成素材快速產出多視角版本，而不必從零生成或手動三維重建。

官方在 Linux 上以 80GB A100 測試，峰值記憶體約 72GB，需 CUDA 12.4 與 Python 3.10，並預編譯 flash-attn wheel 以避免從源碼編譯。相較同類影片重生成方案，它放棄了對模型本體做適配，以 warp + attention injection 換取「即插即用」與較低硬體門檻，但代價是大角度旋轉、人物遮擋等極端情況仍依賴後續的 3D 代理與 frustum memory。

凍結模型免訓練：以 warp 後的視覺證據作為 attention key/value，無需微調 14B 世界模型。
多視角影片重拍：支援弧線、推拉、平移、定點旋轉等自由相機路徑。
子彈時間與影片編輯：凍結任意一幀改變視角，或改第一幀讓編輯自然延伸至整段。
單卡 80GB 可跑：Linux + A100 + CUDA 12.4 + Python 3.10，硬體門檻相對可控。
路線圖仍在擴展：360 度重拍、跨模型記憶、串流生成等功能陸續排程中。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 世界模型, 模型訓練, NVIDIA, Video, 框架, Content Creator, 3D, Linux, Python

MiniMax H3 首尾幀工作流：ComfyUI 一張面板切換三模式、輸出帶聲影片

2026 年 9 月 10 日

這個 ComfyUI 工作流把 MiniMax H3 的首尾幀、Turbo LoRA、影片與音訊 VAE 全部封進子流程，外層直接選模型、改步數與時長，最後由 SaveVideo 輸出 24fps 的帶聲短片。

想用兩張圖片框住一段六秒帶聲音的影片，再順手在 ComfyUI 面板上換模型、改步數，這個工作流把這件事收得很緊。整套流程把 MiniMax H3 的基礎模型、Qwen3-VL 文本編碼器、影片與音訊 VAE，以及四步 Turbo LoRA 全部塞進一個子流程，常用參數留在外層，內層只負責解析度對齊 32 倍數、計算幀數、把影片與音訊解碼後合成輸出。

跟一般 ComfyUI 影片節點相比，它最直接的差異是「首尾幀可選」：上方節點接首幀、下方節點接尾幀，兩個都填就是首尾幀生成，只填首幀就退回傳統圖生視頻，兩個都跳過則變成純文生視頻，三種模式不用複製工作流，直接在同一張畫布切換。音訊方面也省事，音訊 VAE 跟影片 VAE 分開載入，輸出端靠 SaveVideo 一次寫入 mp4，不用再手動合成聲道。

部署門檻主要在三個地方：ComfyUI 要支援子圖功能、要額外安裝 ComfyUI-MiniMax-H3-Turbo 節點包以取得 MiniMaxH3TurboLoRA，以及 Hugging Face 上的五個權重檔案要放到對應的 diffusion_models、text_encoders、vae、loras 目錄。JSON 內只記錄檔名而非圖片本體，使用前要把首幀、尾幀重新上傳；工作流也沒有附帶顯存或速度數據，必須自己測試本地硬體夠不夠撐得起 int8 基礎模型加 Qwen3-VL 32B 文本編碼器。

對已經在跑 ComfyUI、又想試 MiniMax H3 首尾幀能力的人，這個工作流算是最低摩擦的入口：不用自己接駁一堆節點，也不用研究子流程內部的取樣細節，外部面板就涵蓋了模型選擇、步數、目標時長、種子、寬高比與百萬像素等設定。對只想快速驗證概念或做短影音素材的內容創作者，這種「拉進畫布、換圖、寫 prompt、執行」的流程會比從零搭建省下不少時間。

重點摘要

類型：ComfyUI 工作流 JSON，屬於模型整合與流程封裝類工具，目標是簡化 MiniMax H3 帶聲影片生成。
核心能力：首尾幀、首幀圖生視頻、文生視頻三種模式可切換，並內建音訊解碼與合成。
關鍵依賴：ComfyUI 需支援子圖，另需安裝 ComfyUI-MiniMax-H3-Turbo 節點包與五個 Hugging Face 模型檔案。
輸出規格：24fps，寬高自動對齊 32 倍數，時長與步數可在外層調整。
限制：未提供顯存峰值、速度與相容性測試，需自行驗證本地硬體；JSON 內只存圖檔名，圖片要重新上傳。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, Qwen, Video, Image, Audio, 工具, Content Creator, MiniMax

PWM(Programmable World Model) 以世界模型驅動影片生成

2026 年 9 月 10 日

AlayaLab 開源的 Programmable World Model 把世界狀態與畫面生成拆開管理，讓角色、事件與鏡頭外的物件都能被查詢、修改與驗證，不再只靠潛在影像記憶。

影片世界模型能夠即時渲染出像真的畫面，但畫面背後其實欠缺一部「世界引擎」——狀態藏在影像序列裡，難以檢查、編輯或驗證，鏡頭一轉，鏡頭外的角色與潛在事實就會被悄悄遺忘。AlayaLab 開源的 Programmable World Model（簡稱 PWM）正正針對這個痛點，把世界狀態的維護與視覺生成徹底解耦，由一個 state executor 負責推進世界狀態，再由 deterministic compiler 把以 state-augmented 3D OBB 描述的狀態投影成 pixel-aligned controls，最後才交給影片模型渲染畫面。

這個框架真正解決的問題，是讓世界「可被編程」。同一份世界狀態可以驅動任意鏡頭、任意視覺風格，角色即使離開畫面依然存在，事件具備不可逆性，亦可由規則觸發；使用者可以用類似 WASD 的方式操控，並預先以語言定義世界規則。一個 VLM-based agent 會讀取參考圖與開放式文字，自動寫出可執行的世界規格。

PWM 屬於框架類項目，定位接近研究原型。與 Genie 3、GameNGen 等同類做法相比，PWM 的取捨在於放棄純端到端的潛在表達，換取可查詢、可驗證、可長時序的狀態；對於遊戲開發者、需要可控互動世界的模擬研究者，以及想用程式化方式生成可控影片內容的團隊，這種顯式狀態設計明顯更貼近「世界引擎」的真正需求。

目前 PWM 已釋出技術報告，推理程式碼與預訓練權重尚未開源，因此暫時只能從紙面層面理解並等待官方補上權重。從架構看，這個方向對於追求可控性與持久性的應用場景會有明顯吸引力。

重點摘要：

狀態與畫面解耦：狀態由 executor 維護，畫面由影片模型渲染，互不綁定
可查詢、可驗證的世界事實：角色、事件與鏡頭外實體都能被檢查與修改
持久世界：鏡頭外的物件與潛在狀態不再被遺忘，長時序互動更可靠
VLM agent 自動生成世界規格：以參考圖加文字描述即可寫出可執行的世界規則
尚待補完：推理程式碼與預訓練權重仍未釋出，目前以技術報告形式呈現

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 世界模型, Video, Image, 框架, 3D

anything2explainer：把任何主題變成科普影片

2026 年 9 月 10 日

它不是 CLI，而是一套交給 AI 編碼 agent 用的方法包：從研究、旁白、字幕到分鏡，都用 Remotion 寫成 React 元件，產出可逐幀追溯的解說影片。

Repository image for Vincentwei1021/anything2explainer

當你丟一個主題或一篇文件給它，系統會先做資料蒐集並標註來源，再寫旁白、生成 TTS 語音，並把時間軸對齊到逐個鏡頭。接著多個建構 agent 平行運作，每個負責一個 Remotion（React + TypeScript）元件，QC agent 再依書面標準審查每一幀。輸出是 1280×720 H.264 MP4，配上字幕、章節卡與進度條，全程沒有現成影片或生成式影像模型的痕跡。

這套流程對創作者的最大意義在於可追溯。每個鏡頭都有自己的原始碼、QC 報告與研究文件，螢幕上出現的年份、數字、英文術語都要對得到來源 URL；live-action B-roll 也強制記錄在 MANIFEST 裡，附上 sha256、來源與授權。這種「紙本文書鏈」對需要審核的場景——例如企業內訓教材或品牌內容——比多數 AI 影片工具更有交代。

在同類做法裡，它明顯偏向工程化交付而非即興 demo。Remotion 元件庫、燈光與樣式規格、多 agent 協作協議都以可複用資產形式提供，並用一段完整的參考影片作為品質基準。對會寫程式、需要大量長版講解影片但又受版權與準確性束縛的團隊——例如 SaaS 團隊做產品教學、研究單位做技術普及——會比較感受到它的價值。

限制同樣明顯：不是 CLI，必須搭配 Claude Code 或 Codex 這類 agent 環境；TTS 要自備並處理對齊；中英文以外語言未提及支援；整個流程壁鐘 1 到 3 小時，瓶頸在並行建構鏡頭的數量與長度。授權採 PolyForm Noncommercial，商用前要先看清楚。

重點摘要

全程程式碼繪製：用 Remotion 寫 React 元件產出每一幀，沒有生成式影片模型或現成素材。
可審核的紙本文書鏈：研究文件、旁白、分鏡、鏡頭原始碼、QC 報告全部保留。
多 agent 平行建構：研究、旁白、語音、分鏡後，由多個 agent 同時寫鏡頭元件，QC agent 再逐幀複查。
多語言旁白：支援中文與英文，TTS 需自備並做強制對齊。
非商業授權：採用 PolyForm Noncommercial，商用情境需自行評估。

GitHub

Categories: 開源, 文字轉語音, Agentic, AI productions, OpenAI, Video, Image, 工具, Content Creator, 庫, 語音, Anthropic, 動畫, Skill 技能

Mask Forcing：雙重遮罩幫影片擴散模型

2026 年 9 月 10 日

Mask Forcing 針對自回歸影片擴散蒸餾中嘅模式塌縮問題，利用雙重雜訊遮罩嘅 rollout 策略，令學生模型分佈覆蓋更多教師模式，同時唔使額外影片資料或後訓練。

用 DMD（Distribution Matching Distillation）把雙向影片擴散模型蒸餾成自回歸（AR）學生模型時，影片往往出現過度飽和同過度平滑嘅情況，背後成因係 reverse-KL 目標嘅 mode-seeking 傾向，令學生分佈容易塌縮到教師模型嘅少數模式之上。Mask Forcing 嘅切入點正正係呢個矛盾：佢喺 AR 蒸餾嘅 self-rollout 過程中，沿空間同時間軸隨機遮罩、注入較乾淨嘅 token，藉此擾動 rollout 軌跡，令學生有機會探索教師分佈嘅更多區域。

呢個做法同時帶來兩個好處：擾動令 DMD 嘅學習訊號唔再局限於學生已經覆蓋嘅模式；而較乾淨嘅 token 亦可以作為引導，協助同一 chunk 入面較嘈雜嘅 token 去噪，等中間過渡更穩定，從而減少錯誤喺後續 denoising step 同 chunk 之間累積。整個方法唔需要真實影片監督、唔需要額外後訓練階段，亦唔會增加推論成本，純粹改動訓練期嘅 rollout。

Mask Forcing 屬於一種蒸餾增強策略，主要服務於想把 AR 影片生成做快、但又想避開 DMD 視覺質素下降嘅團隊，例如做實時或近實時影片生成嘅研究同產品線。佢同一般做法嘅取捨清晰：放棄模式集中所帶來嘅短期穩定，換取分佈多樣性同中間步預測嘅可靠性。

針對 AR 影片擴散蒸餾中 DMD 嘅 mode-seeking 問題，用雙重雜訊遮罩擾動 rollout
不需真實影片監督或額外後訓練階段，唔改動推論流程
令學生分佈覆蓋更多教師模式，並以較乾淨 token 引導較嘈雜 token 去噪
適用於追求實時影片生成、又想提升視覺質素嘅研究同產品場景

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 香港科技大學, AI productions, 模型, 模型訓練, Video, 影像模型

MovieGrid 把長片拆成方格生成，解決多鏡頭一致性

2026 年 9 月 10 日

來自 UC Santa Cruz 等院校的 MovieGrid 框架，把長片拆成空間方格同步生成，目標是同時兼顧鏡頭內連續動作與跨鏡頭視覺一致性。

MovieGrid 針對的痛點很直接：現有影片生成模型傾向犧牲多鏡頭敘事完整性來換取單鏡頭內的動作連貫，而傳統把整段故事沿時間軸壓縮的做法，更會加深這個偏差。

核心做法是把一段長影片切成分佈於空間方格上的短片段，每格只負責少量鏡頭與較短的時間跨度，從而降低單格需要建模的轉場數量；同時所有格子會被聯合生成，並透過 Grid Embedding、角色感知的 Story Prompt 以及 Grid Boundary Loss 來維持格與格之間的銜接。訓練時採用的 Noise-Free Random-Grid Training，會隨機保留部分格子作為乾淨視覺上下文，引導其餘格子的去噪過程。

項目以 Wan2.2-TI2V-5B 作為基座模型，並配搭自家構建的 MGLV 資料集——從 1,000 段長片萃取出 54K 條方格影片，每條都附有角色級故事標註。在等量 token 預算下，MovieGrid 在 1,616 幀長片裡可生成比 Temporal Packing 基線多 6.05 倍的鏡頭，並在自建基準上取得 0.9131 的鏡頭內一致性與 0.5914 的跨鏡頭一致性，分別優於 HoloCine 與 StoryMem。

目前已開源 16 格與 64 格的訓練與推理配置，以及對應的 MovieGrid-16、MovieGrid-64 LoRA 權重；環境需以 Python 3.10 搭配官方 Wan2.2 倉庫安裝。對需要批量產出多鏡頭短片、廣告分鏡或敘事預覽的團隊，這套框架提供了比單時間軸方案更可擴展的路徑，但生成品質仍受基座模型與資料規模所限，未來計劃加入 first frame 與 storyboard 條件控制。

重點摘要：
– 核心方法：將長片切成空間方格短片段並聯合生成，減輕每格時間跨度負擔。
– 關鍵機制：Grid Embedding、角色感知 Story Prompt、Grid Boundary Loss 與 Noise-Free Random-Grid Training。
– 基座與資料：基於 Wan2.2-TI2V-5B，配搭自建 MGLV 資料集共 54K 條方格影片。
– 開源狀態：已釋出 16 格與 64 格的推理配置、訓練代碼，以及對應 LoRA 權重。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, Embedding, 模型, 模型訓練, Video, 框架, Python, 庫, Dataset 數據集

Page 14 of 22

« Previous 1 … 12 13 14 15 16 … 22 Next »