LTX – InferNews

SoL-Refiner 高解像度影片生成加速 27 倍

2026 年 10 月 2 日

先完成低解像度草稿，再用一次去噪提升至高解像度，SoL-Refiner 大幅縮短影片生成時間。

高解像度影片生成往往受限於大量時空 tokens，SoL-Refiner 以影片精修模型處理這個瓶頸：先由不同基礎生成器製作較低解像度草稿，再用一次目標解像度去噪輸出最高 4K 影片，毋須進行多步精修。

NVIDIA Research 的訓練流程結合高解像度持續訓練、frame-based RL post-training，以及 one-step distribution-matching distillation，並支援 bidirectional 和 streaming inference。方案可接駁 MiniMax H3、SANA-Video、Cosmos-Nano 和 WAN 等不同生成器，令精修模組毋須綁定單一模型。

一次高解像度去噪，減少第二階段採樣成本
支援多個影片生成器，改善跨模型工作流程
在 2K 保持具競爭力，4K 指標優於 LTX-2.3
WAN 和 Cosmos-Nano 測試中，平均質素亦有所提升

以五秒、1344×768、24 fps 影片測試，MiniMax H3 直接生成高解像度版本需 152.3 秒；低解像度生成加 SoL-Refiner 的兩階段流程只需 5.6354 秒，量得 27.03 倍牆鐘速度提升。測試使用 NVIDIA GB200，每個階段各佔用一張 GPU，實際速度仍會受硬件、基礎生成器和影片設定影響。

SoL-Refiner 適合需要大量高解像度影片、但又要控制推理延遲的內容製作流程。它以額外的低解像度生成階段換取更快的高解像度輸出，質素和速度之間的取捨仍取決於輸入草稿及所選生成器。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 視頻模型, NVIDIA, Video, Image, 教學, Python, LTX, MiniMax

Maestro：本地一鍵 AI 創作工作室，把導演、剪接、生成模型打包

2026 年 9 月 26 日

Maestro 把 LTX-2.5、MiniMax H3 等本地模型整合成一個創作介面，配合 LLM 編寫分鏡並自動生成音樂影片與短片，適合想在自己機器上完成後期的人。

用 LTX-2.5 或 Hunyuan 這類本地模型做創作時，最麻煩的往往不是模型本身，而是要自己串接腳本、分鏡、剪輯和多軌音訊。Maestro 直接把這條工作流收進一個桌面介面：LLM 先讀懂你的音訊或劇本，再交由圖像、影片、音訊模型接力生成。Director Mode 同時支援 Music Video（節拍感知分鏡）同 Short Film（劇本連戲）兩種套路，前者會分析 BPM 與段落（主歌、副歌、橋接），再把鏡頭對齊落拍；後者靠 pacing-bias slider 控制剪接密度，並維持角色與對白的一致性。Auto Mode 可以一鍵跑完整條 analyze → plan → generate → combine 流程，Manual Mode 則保留每一步檢查點。

Director v2 架構把編劇、結構化分鏡、模型格式化分成三層，H3 路徑直接走自家編譯器，其他模型則用 per-model polish。Studio 那邊亦提供適應性寫作與連戲指引，並對源動作、對白歌詞做一致性檢查。對比逐個 CLI 工具拼接的傳統做法，Maestro 的差異在於把 director 邏輯、prompt 優化同非破壞性多軌剪輯綁定在一處，省下不少膠水程式。

硬件門檻方面，Performance Auto-Tune 會在首次啟動時偵測 GPU、VRAM、RAM，並自動選取量化、VAE tiling 與 VRAM 安全係數；OOM 時還會彈出建議橫幅，一鍵降 headroom。Qwen Image 2.1 7B 支援最多十張參考圖、透明 PNG 輸出與專屬 prompt 增強，但屬研究／評估授權，商用要另外處理 Qwen 的授權。

重點摘要

整合 LTX-2.5、MiniMax H3、Wan、Hunyuan、SCAIL-2 等本地模型作影片生成、延伸、混合、重拍、上色與 upscale
Director Mode 用本地 LLM 自動規劃音樂影片分鏡或短片劇本，並維持角色與對白連戲
Auto Mode 全自動、Manual Mode 每步可審；Performance Auto-Tune 依硬件自動選 profile
Qwen Image 2.1 7B 支援十張參考圖、透明 PNG，但僅研究／評估授權
原始資料未提供具體安裝步驟或下載連結，需自行到倉庫頁查閱

內容生成後想拿來做音樂 MV、自媒體短片或概念分鏡的獨立創作者、小型工作室，會較容易受惠；商業團隊則要留意 Qwen 等模型的授權細節。Maestro 在 JavisBench、V ABench 等基準上對 LTX-2.3 的對比屬同捆支援模型本身的表現，工具層並未自稱有獨立 benchmark。

GitHub · Paper

Categories: 開源, 香港理工大學, 上海人工智慧實驗室, 騰訊, AI productions, 模型, Qwen, NVIDIA, Video, Image, Audio, 香港, 工具, Content Creator, LTX, 音樂, MiniMax

AV-GRPO 把音訊影片聯合模型訓練門檻壓到 8 張 A800

2026 年 9 月 26 日

這個項目把 GRPO 強化學習帶進多模態模型，並透過「模態錨定解耦」大幅降低跨模態訊號干擾，連 LoRA 微調都能在 8 張 A800 上完成 22B 模型訓練。

聯合音訊與影片生成一直有個麻煩：模型做出來的影像與聲音品質、文字對齊度、長度同步性常常此消彼長。AV-GRPO 直接把 GRPO 強化學習框架搬進 LTX-2.3 這類 22B 級的雙流模型，並用「模態錨定解耦」的方式，把音訊與影片兩路的學習訊號分開計算，避免強化學習的獎勵把兩個模態的功勞混在一起算不清。配套的 5DAV 數據集同樣沿五個維度拆解，方便精準控制訓練難度。

作者最在意的是算力門檻，這套框架支援全參數微調與 LoRA 微調兩種模式，只要 8 張 A800 就能跑得起來，並整合了模態錨定 rollout、凍結其中一路做軌跡鎖定優化、依模態特性調整擾動強度三個機制，把原本耦合的多模態偏好學習拆成條件式單模態子問題，使獎勵歸因與同步優化都更精準。

在 JavisBench 與 VABench 評測中，AV-GRPO 不論 LoRA 或全參數設定，於生成品質、語意對齊、跨模態同步三項都穩定超越 LTX-2.3 基準。對需要「一次到位」產出高同步影音的團隊、短片創作工具開發者、以及想在有限 GPU 資源下微調大型影音模型的實驗室，吸引力都很高。

重點摘要：

首個針對音訊影片聯合生成設計的 GRPO 框架，解決強化學習獎勵訊號在異質模態間糾纏的問題。
模態錨定解耦讓影片與音訊各自計算 rollout 與獎勵，顯著改善獎勵歸因。
22B 模型在 8 張 A800 上支援 LoRA 或全參數微調，大幅降低硬體門檻。
5DAV 數據集沿五個維度解耦，方便調節難度與做消融實驗。
JavisBench 與 VABench 結果顯示生成品質、文字對齊與跨模態同步全面優於 LTX-2.3。

官方尚未提供一鍵安裝或開箱即用的 inference 腳本，整合進 LTX-2 推論流程時仍需自行處理權重合併與路徑替換；對於想直接做線上服務的團隊，整合成本仍是主要取捨。

GitHub · Paper

Categories: 開源, 香港理工大學, 上海人工智慧實驗室, AI productions, 模型, 多模態模型, 模型訓練, NVIDIA, Video, Audio, 框架, 香港, 工具, LTX, Dataset 數據集, LoRA

阿里 WanPE 用 397B 參數重寫電影級提示詞

2026 年 9 月 26 日

阿里 Wan Team 推出 397B 參數嘅電影級提示詞增強模型 WanPE，專門幫影片生成模型把簡單描述擴寫成導演級腳本。

用文字寫出導演水準嘅提示詞係一道高牆。普通用戶多數只會輸入「一個人喺森林行」，但頂級模型需要更細緻嘅鏡頭語言、動作編排同節奏控制，先至能夠生成高質素嘅 30 秒成片。阿里 Wan Team 推出嘅 WanPE，正正瞄準呢個痛點：佢會將用戶輸入嘅簡短描述，自動擴寫成包含鏡頭運動、燈光變化、動作節奏嘅電影級分鏡腳本，再交俾下游影片模型執行。

WanPE 採用「Video-grounded reverse construction」做法，先從真實影片反向建構出鏡頭規劃，再學習點樣由提示詞出發重建同樣嘅結構，比起由前向改寫提示詞更能保留導演意圖。同時，佢透過 Semantic-Consistency GRPO（SC-GRPO）訓練方法，確保長鏡頭、多分鏡之間嘅語意唔會走樣。整個模型以約 105 萬條真實影片訓練而成，參數量達到 397B。

沒有 WanPE

使用 WanPE 之後

團隊構建咗人類標註嘅 WanPEval 測試集，覆蓋 5 至 30 秒唔同時長同意圖粒度，並用約 11,000 組盲測配對評分做對比。當配搭 Wan3.0 影片生成器時，WanPE-397B 喺 5 至 15 秒影片將人類偏好分數提升 10.7 至 18.8 分；喺 30 秒嘅長片場景，偏好分數更大幅躍升 50.9 分。喺 5 至 15 秒組別，佢領先所有受測嘅商業方案；30 秒組別則與 Seedance 2.5 保持競爭水平。

對內容創作者、短影片團隊或者想做 AI 廣告片嘅人嚟講，呢類自動「導演助手」能夠省卻大量分鏡草稿時間；對開發者而言，佢亦可作為外掛增強模組，套用到 LTX-2.5、MiniMax-H3 等其他生成器身上做格式適配。

重點摘要

397B 參數專職寫分鏡：WanPE 將用戶簡短提示擴寫為導演級電影腳本，再交俾下游影片模型執行
逆向建構 + SC-GRPO：從真實影片反向學習鏡頭規劃，並透過強化學習保持長片語意一致
WanPEval 評測：人類標註、5 至 30 秒覆蓋、約 11,000 組盲測配對評分
30 秒長片偏好激升：搭配 Wan3.0 時，人類偏好分數提升 50.9 分
可遷移：經格式適配後，可應用於 LTX-2.5、MiniMax-H3 等其他生成器

項目主頁 · Paper

Categories: 南京大學, 清華大學, 阿里巴巴, AI productions, 模型, 模型訓練, Video, 提示詞, Content Creator, LTX, 中國, Dataset 數據集, MiniMax

LTX-2.5 加入多圖與聲音參考控制

2026 年 9 月 24 日

想令影片中的人物、物件和聲音更一致，這個 ComfyUI 擴充項目把多重參考整合到同一條工作流程。

Repository image for liconstudio/ComfyUI-LTX2.5-MSR

要在 LTX-2.5 生成影片時維持多個人物、物件或場景的連貫性，單靠文字提示往往不夠。ComfyUI-LTX2.5-MSR 是一個 ComfyUI 擴充工具，透過 MSR LoRA 把最多五張獨立編碼的參考圖片加入影片 latent；配合 AVref LoRA，還可為最多兩位說話者加入聲音參考。

它處理的不是普通圖片拼接，而是保留 MSR（Multiple Subject Reference）的訓練方式：每個參考影像都有 learned slot embedding，參考 token 會預先加入模型輸入，並配合固定排序及連續負時間位置，讓 LTX-2.5 的 self-attention 讀取人物、衣物、物件和場景資訊。參考圖片會自動調整大小、置中裁剪及以白色填補，亦支援 tiled VAE encoding。

v1.2.2 將圖片和聲音參考集中到同一個 LoRA loader 及 Reference Guide。兩個 audio latent 可分別配對 pic1 和 pic2；缺少某段聲音時，對應時間窗會保持空白，不會令後面的參考位置前移，並可選擇 25 或 33 幀的圖片參考長度。README 同時提供 V2 範例工作流程，展示加入聲音參考的兩階段 sampling 及 latent-upscale refinement。

使用前需要 LTX-2.5 原生模型、符合要求的 MSR 或 AVref LoRA，以及 ComfyUI 的模型、conditioning、latent、VAE、sampler 和 AV 節點。LoRA 必須包含 reference_slot_embedding 權重，普通 LoRA 會被拒絕；項目資料未提供完整安裝指令或硬件性能測試，因此生成速度、顯存需求及最終一致性仍要按本地模型、解析度和參考數量自行驗證。

最多五張圖片參考，支援人物、物件、背景等不同角色
AVref LoRA 可加入最多兩位說話者的聲音參考
稀疏 audio slots 保留絕對時間位置，不會重新排列後續參考
適合單階段生成，也可接入兩階段 latent-upscale 工作流程

GitHub · 模型

Categories: 開源, ComfyUI, AI productions, Embedding, 模型, 模型訓練, Google, NVIDIA, Video, Image, Audio, 工具, 語音, LTX, 蘋果, LoRA

SolarWM 開放視頻世界模型全流程基建

2026 年 9 月 3 日

SolarWM 不只公開模型權重，連數據處理、訓練流程和長時推理方法一併開放，目標是降低互動式視頻世界模型的研究門檻。

SolarWM teaser: one framework for diverse interactive worlds

從數秒訓練片段推演出長達數分鐘甚至更長時間的互動視頻，一直是世界模型（World Model）發展中的難題。SolarWM 把焦點放在整個研發鏈條，而不只是單一模型，結合開放數據管線、訓練框架與推理流程，形成一個面向互動式視頻世界模型的完整研究基礎設施。

項目屬於世界模型訓練框架與開放研究基建，處理的問題是如何把不同來源的視頻資料整理成一致格式，並在不同模型骨幹之間建立可擴展的長時推理能力。團隊將來自 14 個資料集、約 143 萬段影片統一整理，讓資料準備與訓練配方可以分離，研究人員毋須重複建立資料處理流程。

與許多只圍繞單一架構設計的方法不同，SolarWM 強調保留原生骨幹能力，同時支援 Wan2.2、LTX-2.5 與 MiniMax-H3 等不同模型家族，涵蓋 5B 至 33B 規模。研究團隊提出三階段訓練流程，包括雙向適應、結合 AnyFlow 的教師強制訓練，以及長時互動推理策略，希望在不依賴超長訓練影片的情況下維持世界演化一致性。

開放釋出資料處理管線、資料集及模型權重
支援多個主流視頻生成骨幹，而非綁定單一架構
利用約五秒片段訓練，目標達成分鐘級甚至小時級推理
涵蓋 143 萬段影片與約 25TB 數據規模
提供可重組資料配方與不同訓練策略組合

適合世界模型研究團隊、互動式模擬系統開發者，以及探索 World-Action Model 與長時視頻生成的學術機構。SolarWM 的價值不只在單次生成效果，而在於把過往難以重現的資料處理和訓練步驟公開，讓不同研究單位更容易比較方法與建立可重複驗證的實驗流程。長時間推理的一致性仍有待更多公開基準驗證，但這套框架已經把世界模型研究由單一模型競賽推向完整基礎設施層面。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, Agentic, 世界模型, 模型訓練, NVIDIA, World-Action Model, 3D, LTX, Dataset 數據集, MiniMax

ComfyUI-OCIO：ComfyUI 直通 ACES 與 HDR 的色彩管理節點

2026 年 9 月 2 日

由模型輸出到 ProRes、EXR 或 HDR 交付，ComfyUI-OCIO 保留更多影像色彩與亮度資訊。

OCIO Nodes for ComfyUI - by AI VFX NEWS, Slava Sexton

由 LTX、Flux 或其他影像流程產生的 HDR、Cineon 及 10-bit 影片，可以在 ComfyUI 原生 VIDEO wire 內完成色彩管理、ACES 調色及輸出。ComfyUI-OCIO 屬於 ComfyUI 自訂節點項目，處理的是模型解碼後容易被截斷、降位深或轉成 4:2:0 的影像資料。

核心差異在於 OCIO VAE Decode 以 float32 解碼，而且不會把數值夾到固定範圍；低於 0 的值亦會保留，讓超出工作色域的顏色和場景線性動態範圍交由 OpenColorIO 轉換。普通 SDR 生成不會因取消 clamp 自動變成 HDR，素材本身沒有相關範圍時，收益亦會有限。

LTX-2.5 可經由 ACEScct 路徑接入其 HDR path，補足 ComfyUI 原生流程未能直接觸及的部分。輸出可包括 32-bit float EXR、ProRes 4444 10-bit 4:4:4、DPX log，以及 Rec.2100 PQ／HLG；FFV1 才能做到無損保存，ProRes 讀回則以 12-bit 處理並承載 10-bit 資料。

ComfyUI-OCIO 提供的單一 LTX-2.5 測試中，模型浮點母片有 2304 個亮度級別，該項目的 ProRes 4444 版本保留 3520 個可辨識級別，與母片可辨識差異為 0.0001%；原生 10-bit 流程則為 882 級，出廠流程只有 220 級。安裝所需依賴包括 OpenColorIO、OpenCV、tifffile、Pillow、numpy 及 FFmpeg，但資料未提供完整圖形化操作步驟；較適合熟悉 ComfyUI、ACES 和影片編碼的 VFX、影片生成及後期團隊。

保留 float32 解碼結果，不強制限制亮度範圍
支援 ACES、HDR、Cineon、LTX、Flux 及 10-bit 影片流程
可在原生 VIDEO graph 內讀取序列、調色及寫出影片
LTX-2.5 可經 ACEScct 進入其 HDR path
FFV1 適合無損保存，ProRes 4444 適合交付

GitHub

Categories: 開源, ComfyUI, AI productions, Video, LTX

VA-Judger 生成更貼近人類偏好的影片與聲音

2026 年 8 月 26 日

VA-Judger 以人類偏好比較影片和聲音生成結果，改善單靠獨立指標造成的失真與獎勵錯配。

同一個提示詞產生兩段影音內容時，VA-Judger會比較哪一段更符合人類偏好，並拆解提示詞對齊、影音一致性、音質、畫質及內容完整度。它屬於聯合影片與音訊生成的 Reward Model，處理傳統指標難以捕捉整體連貫性的問題。

模型以 Qwen3-Omni 為基礎，先從品質差距明顯的配對學習比較準則，再透過拒絕採樣處理接近的結果，最後以 dimension-wise Group Relative Policy Optimization（GRPO）把人類回饋分配到不同品質維度。這比把音質、畫質及同步指標簡單相加更貼近觀看者的整體判斷，也減少生成模型鑽指標漏洞的機會。

VA-Judger-Bench包含同領域及跨領域模型比較，用來測試 Reward Model 是否能對齊人類選擇；研究結果指向它優於多項指標基線。VAPref-10K則包含9K提示詞及10.3K組細緻的影音配對比較，但資料集及部分訓練程式仍未發布。

項目提供 Reward Model 推理、Video Model 推理、模型 SFT，以及以 VA-Judger 分數優化 LTX-2 的流程；README亦列出合併已發布 RL LoRA 的 LTX-2 checkpoint。提供的資料沒有列出完整安裝步驟，使用者需要按項目頁面、checkpoint及程式碼狀態自行確認環境。

適合場景：研究影音生成、偏好對齊及 RL post-training 的團隊
可評估內容：提示詞對齊、影音一致性、音質、畫質及內容完整度
主要取捨：比較人類偏好的方法較全面，但需要配對資料及額外訓練流程
目前限制：dimension-wise GRPO 程式碼及 VAPref-10K 仍列為待發布項目

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 視頻模型, 模型訓練, Qwen, Video, LTX, Dataset 數據集

LTX-2.5 原生多鏡頭、4K HDR，一次看懂升級重點

2026 年 8 月 12 日

LTX 最新開源基礎模型 LTX-2.5，主打原生多鏡頭銜接、4K HDR，並降低重試與算力成本，繼續走開放權重路線。

如果你是用開源模型做影片生成的開發者，LTX-2.5 這次更新解決的卡位頗明確：人物、環境、光線與聲音在多鏡頭之間斷裂的問題。它把多鏡頭生成變成原生能力，並加入自動時長預測，模型會按指令動作自行決定片段長度，省下人手剪接的麻煩。

對比起多數只能透過後製拼接的同類方案，LTX-2.5 在 prompt 跟隨度上也有明顯進步，能夠處理更複雜的創作指示，而且只需要更短的提示詞就能產生穩定結果。配合新的擴散影片解碼器，動態假影更少，畫面在高解析度與 HDR 下仍能逐格保持質感。

本地部署與微調是這次版本延續的核心承諾：開源權重可直接下載，預訓練基礎模型可在自家做 LoRA 微調，產出與後製則支援原生 RAW workflow，貼近專業調色與剪接流程。

從官方比較表來看，目前維持開放權重且不受地區限制的開源視頻生成選擇仍然有限，這也是 LTX-2.5 在定位上最值得留意的差異化。不過實際表現仍需視本地硬件配置與工作流整合程度而定。

重點摘要

原生多鏡頭生成：人物、環境、光線與聲音在不同鏡頭間保持一致。
自動時長預測：依據動作需要自動決定片段長度。
4K HDR 與原生 RAW：支援專業調色與後製 pipeline。
Gemma 4 12B 文字編碼器：搭配自研提示詞增強器，提升 prompt 跟隨度。
開源權重可下載：可在本地硬件運行，並支援 LoRA 微調。

項目主頁

Categories: 開源, AI productions, 數字人, 多模態模型, 視頻模型, 模型訓練, Video, Image, LTX

Montara 本地優先影片工作台

2026 年 8 月 2 日

想用同一套時間軸管理生成、剪接同輸出影片，Montara 提供咗一條幾務實嘅路。它唔靠單一雲端服務，先確保你能穩定產出真正可播放嘅 MP4。

做影片流程最麻煩，往往唔係生成一段畫面，而係素材、剪接決定、旁白、輸出格式同後續修改散落喺唔同工具。

Montara 就係朝住呢個痛點而來：一個本地優先嘅開源影片製作工具／框架，用 Timeline IR 做唯一時間軸來源，將規劃、編輯、渲染同交接串返埋。

它吸引嘅地方，在於先處理「冇雲端都要交到片」呢個現實限制。就算零 API keys，仍可經 FFmpeg 走本地 fallback 輸出可觀看 MP4，連字幕卡、語音路徑同部分媒體都預留咗本地方案；有裝 Remotion 就做 native smoke，冇裝亦會退回 FFmpeg，呢種設計比起只展示理想雲端流程嘅項目踏實得多。

同類做法常見係綁死某個生成服務或者某款剪片介面，Montara 反而把 provider 放成可插拔層，會建立 request、做 redaction、支援 dry-run 同 live-audit，但付費雲端呼叫要明確開啟。代價亦好清楚：它而家最成熟嘅係時間軸驗證、編輯操作、渲染路徑、editor bridge 匯入匯出，同埋真實 MP4 渲染與 post-render QA；README 亦講明長片規模仍屬 roadmap，唔係所有電影級工作流都已全面驗證。

Timeline IR 把場景計劃、剪接決定、匯入 editor cut 同生成素材收斂成一份 JSON
本地路線完整，FFmpeg 係通用底線，部分 video/image/speech/music 有 fallback
可匯出 EDL、OTIO、FCPXML，方便轉去 Premiere、Resolve、Final Cut 繼續做
provider 機制重視審計與可驗證性，適合要保留流程紀錄嘅團隊較受惠嘅會係想把 AI 生成同傳統後期接埋嘅內容團隊、要保留本地控制權嘅創作者，或者打算讓 agent 參與影片流水線嘅開發者。

Montara 已經唔止係 demo 級拼裝，因為它把「可編輯來源」、「真實渲染結果」同「可交畀剪輯軟件接手」放埋同一條線；不過想追求高度成熟嘅長篇製作，仍要留意目前覆蓋範圍主要集中喺已測試嘅 renderer 同橋接能力。

GitHub

Categories: 開源, Agentic, API, Video, 影像處理, 框架, LTX

Page 1 of 2

1 2 Next »