pi-H3:以 2–4 步生成影片,毋須 VAE 解碼器

省掉影片 vae 解碼器,還要保住細節與動作連貫。pi-H3 的速度有實測支持。

teaser

pi-H3 是直接輸出像素的影片生成模型。模型基於 MiniMax H3,在最後一步去噪時生成畫面,省去把壓縮表示還原成影片的 VAE decoder。作者包括 Stanford University 的 Hansheng Chen 等研究人員,部分工作於 Luma AI 完成;在單張 NVIDIA B200 上,pi-H3 0.9 以 2 步生成 5.2 s 影片,端到端耗時為 3.813 s。

測試涵蓋文字編碼至影片及音訊輸出,能反映使用者提交請求後的等待時間。同一影片長度下,pi-H3 0.9 的 4 步設定需 7.304 s;Sol-H3 官方的 4 步結果為 9.475 s,使用單張 NVIDIA GB200。所列設定以 pi-H3 的 2 步最快,但硬件並不相同,不能把全部差距歸因於移除解碼器。

速度隨影片長度改變,生成 15 s 影片時,pi-H3 0.9 的 2 步設定需 18.58 s,4 步需 36.41 s;Sol-H3 官方的 4 步結果為 44.96 s,硬件條件沿用上述配置。pi-H3 的 2 步仍是這組數據中最快,但已無法在影片播放完畢前完成生成,長片工作流仍要預留等待時間。

省去解碼器也帶來畫面重建的難題。每個 MiniMax H3 token,即模型處理的一組內容單位,涵蓋 12288 個像素值,超過 DiT 隱藏維度 5376 的兩倍,直接使用線性 DWD 輸出層會令畫面模糊。研究團隊因此在去噪特徵後加入小型 refiner,補回畫面細節;這也說明,直接輸出像素仍需要額外的重建處理。

pi-H3 1.0 將改用 windowed attention transformer refiner,保留 Sol-H3-VAE decoder 的 24 個 blocks 中的 8 個,再作端到端調整。新版改善細微動作與 2 步生成的連貫性,refiner 亦稍快;不過,所提供的影片與速度測試全屬 0.9,不能當成新版的實測結果。

pi-H3 在所有 DiT blocks 和文字編碼器使用 FP8 W8A8,AdaLN 與輸出層保留 BF16;Sol-H3 則在 DiT blocks 2–46 使用 MXFP8 W8A8,其餘列明部分保留 BF16。兩者的計算精度配置不同,這組端到端比較可以描述整套方案的等待時間,卻未能單獨量度每項改動的貢獻;上述 B200 成績不能直接視為桌面 GPU 的速度承諾。

想先看結果,可以試 Hugging Face demo;要放進節點式創作流程,則可用 ComfyUI-piFlow。需要反覆測試短片構圖、鏡頭和動作的創作團隊,可以先以 2 步與 4 步生成同一提示詞,逐段查看細節是否穩定。這比單看生成秒數更接近製作決策,尤其細小物件或連續動作正是版本修整的部分。

項目主頁 · GitHub · 模型

Categories: 開源, ComfyUI, AI productions, 模型, 模型訓練, Google, NVIDIA, Video, Audio, 提示詞, Linux, Python, MiniMax
MiniMax H3