SepGen 讓影片生成同時輸出獨立聲軌

SepGen 把影片生成與聲音分離放進同一模型,讓每種聲音獨立輸出,方便重混及空間音效製作。

SepGen overview

影片生成不再只產生一條混合音軌:SepGen 是一個多模態生成模型,處理影片畫面、完整配樂,以及按描述分開的聲音 stem。你可以描述場景和各種聲音生成新片,也可以交給它現有影片,抽取指定聲音。

SepGen 建基於 LTX-2.5,在同一次運算加入兩條由文字控制的音訊軌;原有完整 soundtrack 保持不變,每條 stem 只根據自己的描述生成。相同模型同時支援 generation 和 separation,分離後的聲音亦可配合場景位置,延伸至 4D video 和 spatial audio 工作流程。

  • 生成影片、完整 soundtrack 及獨立聲軌
  • 以文字指定要抽取的聲音
  • 同一組 weights 支援兩種任務
  • 可配合移動視角重新呈現聲音位置

項目適合影片後期、遊戲場景、互動媒體及需要重新混音的研究團隊。README 提供 Linux、ffmpeg 及單張 48 GB NVIDIA GPU 的執行條件;模型 weights 約 72 GB,每段影片在 RTX A6000 上需數分鐘,長片則要啟用 VAE tiling,且 num-frames 必須符合 8k+1。

SepGen 的取捨在於硬件及模型容量要求不低,README 亦未提供低記憶體替代方案。gen-3k checkpoint 可用於 generation,分離能力約相近;項目同時提供模型與 SepGen-Dataset,但目前資料未交代更廣泛硬件的性能比較,較適合作為研究原型或具備 NVIDIA 工作站的製作項目。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 多模態模型, NVIDIA, Video, Audio, Linux, LTX, Dataset 數據集