LongCat-Video-Avatar 1.6:讓長片嘴形更自然

人物影片可以生成超過十分鐘,嘴形與身份能否保持穩定,才是這次更新的看點。

Hero image preview

影片能延長,人物卻不能愈演愈走樣。LongCat-Video-Avatar 1.6 是建基於 LongCat-Video 的開源音訊驅動人物影片生成模型,讓人物隨聲音說話及活動。這次更新集中改善嘴形自然度,以及長片中人物外觀與動作的連貫性,直接影響持續觀看的體驗。

項目文件稱,模型支援生成超過 10 分鐘的影片,並減少 autoregressive video continuation 期間的誤差累積。這個術語指影片按已有內容逐段往後生成,前段的偏差可能延續到後段。因此,長片測試不能只看開場是否逼真,還要檢查後段是否仍像同一個人,嘴部動作有沒有逐漸變得不自然。

與 LongCat-Video-Avatar 1.5 的比較採用相同輸入,讓版本差異較容易辨認。項目文件稱,1.6 減少誇張或繃緊的嘴部動作、過紅的唇色,以及嘴部區域隨時間出現的不穩定情況。這些改動處理的是觀看時容易察覺的細節:嘴巴即使跟着聲音動,也可能因幅度或外觀變化而顯得生硬。

聲音處理由 Whisper-large Audio Encoder 負責,把音訊轉成模型可用的特徵。它能改善音素表徵,也就是更清楚地捕捉發音單位,讓嘴部動作更準確、流暢。另一項方法 Per-Frame Optimization 會逐幀調整聲音與影像的對齊,將同步修正落到每一格畫面,而不只籠統處理整段影片。

幾個可觀察的變化:

  • 說話時嘴部開合是否自然,有沒有持續繃緊或過度張開。
  • 嘴部外觀能否保持連貫,避免唇色與局部畫面忽然變化。
  • 影片延長後,人物身份與動作是否仍然穩定。
  • 比較 1.5 與 1.6 時,沿用相同輸入,觀察差異是否持續出現。

人類偏好研究提供了示範以外的比較依據。研究涵蓋六個系統、15 組模型配對,共收集 33,051 張有效個別選票;1.6 的 Bradley–Terry Elo 分數為 1068.1,排名第二。這套計分方式把兩兩比較的偏好整理成排名,結果落後於 OmniHuman-2.0,領先 1.5、HeyGen、OmniHuman-1.5 及 Kling Avatar 2.0,但不能當成每類輸入都勝出的保證。

超過 10 分鐘的生成能力,也不代表長時間續接已消除退化。項目文件的措辭是「減少」誤差累積,因此需要長段人物影片的製作團隊,仍應檢查片尾與跨段位置,不能只憑短片預覽判斷整段品質。提供的資料未列出硬件需求、記憶體需求或具體推論耗時,亦不足以判斷本地製作的等待時間與資源成本。

授權則要分清模型與展示內容。Hugging Face 的模型識別碼為 meituan-longcat/LongCat-Video-Avatar-1.6,License 標示為 MIT;展示內容的倫理說明另外列明,部分圖像及音訊取自真實影片,生成內容只限學術用途,不准商業使用。準備把示範片段放入客戶提案或公開作品前,應先核對相關素材與生成內容的授權範圍,不能單憑模型的授權標示判斷。

設定RTX 4090 適用情況
BF16 推理VRAM 是主要限制。
FlashAttention-2建議使用;模型設定預設已啟用。
INT8 DiT(--use_int8)最適合單張 4090;官方提供 base_model_int8 權重。
FP8(--use_fp8)Ada 架構理論上支援 FP8,但官方要求先安裝支援 CUDA 的 Transformer Engine;FP8 與 INT8 不可同時使用。
官方 Avatar 範例使用 --nproc_per_node=2 --context_parallel_size=2,即需要兩張 GPU;單張 4090 需自行調整啟動參數,並可能要降低記憶體用量。
FlashAttention-3不適用:它針對 Hopper 架構 GPU,例如 H100/H200/H800,並非 4090。

建議的 4090 設定

優先使用 8 步蒸餾及 INT8,而不是完整 BF16:

torchrun --nproc_per_node=1 \
  run_demo_avatar_single_audio_to_video.py \
  --context_parallel_size=1 \
  --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 \
  --stage_1=ai2v \
  --input_json=assets/avatar/single_example_1.json \
  --use_distill \
  --lora_path loraB/lora.safetensors \
  --model_type avatar-v1.6 \
  --use_int8 \
  --mix_steps=4 --mix_alpha=1.0

項目主頁 · 模型

Categories: 開源, AI productions, 模型, 多模態模型, 視頻模型, Google, NVIDIA, Video, Image, Audio, Python, 語音, 動畫