
影片能延長,人物卻不能愈演愈走樣。LongCat-Video-Avatar 1.6 是建基於 LongCat-Video 的開源音訊驅動人物影片生成模型,讓人物隨聲音說話及活動。這次更新集中改善嘴形自然度,以及長片中人物外觀與動作的連貫性,直接影響持續觀看的體驗。
項目文件稱,模型支援生成超過 10 分鐘的影片,並減少 autoregressive video continuation 期間的誤差累積。這個術語指影片按已有內容逐段往後生成,前段的偏差可能延續到後段。因此,長片測試不能只看開場是否逼真,還要檢查後段是否仍像同一個人,嘴部動作有沒有逐漸變得不自然。
與 LongCat-Video-Avatar 1.5 的比較採用相同輸入,讓版本差異較容易辨認。項目文件稱,1.6 減少誇張或繃緊的嘴部動作、過紅的唇色,以及嘴部區域隨時間出現的不穩定情況。這些改動處理的是觀看時容易察覺的細節:嘴巴即使跟着聲音動,也可能因幅度或外觀變化而顯得生硬。
聲音處理由 Whisper-large Audio Encoder 負責,把音訊轉成模型可用的特徵。它能改善音素表徵,也就是更清楚地捕捉發音單位,讓嘴部動作更準確、流暢。另一項方法 Per-Frame Optimization 會逐幀調整聲音與影像的對齊,將同步修正落到每一格畫面,而不只籠統處理整段影片。
幾個可觀察的變化:
- 說話時嘴部開合是否自然,有沒有持續繃緊或過度張開。
- 嘴部外觀能否保持連貫,避免唇色與局部畫面忽然變化。
- 影片延長後,人物身份與動作是否仍然穩定。
- 比較 1.5 與 1.6 時,沿用相同輸入,觀察差異是否持續出現。
人類偏好研究提供了示範以外的比較依據。研究涵蓋六個系統、15 組模型配對,共收集 33,051 張有效個別選票;1.6 的 Bradley–Terry Elo 分數為 1068.1,排名第二。這套計分方式把兩兩比較的偏好整理成排名,結果落後於 OmniHuman-2.0,領先 1.5、HeyGen、OmniHuman-1.5 及 Kling Avatar 2.0,但不能當成每類輸入都勝出的保證。
超過 10 分鐘的生成能力,也不代表長時間續接已消除退化。項目文件的措辭是「減少」誤差累積,因此需要長段人物影片的製作團隊,仍應檢查片尾與跨段位置,不能只憑短片預覽判斷整段品質。提供的資料未列出硬件需求、記憶體需求或具體推論耗時,亦不足以判斷本地製作的等待時間與資源成本。
授權則要分清模型與展示內容。Hugging Face 的模型識別碼為 meituan-longcat/LongCat-Video-Avatar-1.6,License 標示為 MIT;展示內容的倫理說明另外列明,部分圖像及音訊取自真實影片,生成內容只限學術用途,不准商業使用。準備把示範片段放入客戶提案或公開作品前,應先核對相關素材與生成內容的授權範圍,不能單憑模型的授權標示判斷。
| 設定 | RTX 4090 適用情況 |
|---|---|
| BF16 推理 | VRAM 是主要限制。 |
| FlashAttention-2 | 建議使用;模型設定預設已啟用。 |
INT8 DiT(--use_int8) | 最適合單張 4090;官方提供 base_model_int8 權重。 |
FP8(--use_fp8) | Ada 架構理論上支援 FP8,但官方要求先安裝支援 CUDA 的 Transformer Engine;FP8 與 INT8 不可同時使用。 |
| 官方 Avatar 範例 | 使用 --nproc_per_node=2 --context_parallel_size=2,即需要兩張 GPU;單張 4090 需自行調整啟動參數,並可能要降低記憶體用量。 |
| FlashAttention-3 | 不適用:它針對 Hopper 架構 GPU,例如 H100/H200/H800,並非 4090。 |
建議的 4090 設定
優先使用 8 步蒸餾及 INT8,而不是完整 BF16:
torchrun --nproc_per_node=1 \
run_demo_avatar_single_audio_to_video.py \
--context_parallel_size=1 \
--checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 \
--stage_1=ai2v \
--input_json=assets/avatar/single_example_1.json \
--use_distill \
--lora_path loraB/lora.safetensors \
--model_type avatar-v1.6 \
--use_int8 \
--mix_steps=4 --mix_alpha=1.0