由音訊驅動的人體動畫技術，以面部動作同步且畫面吸睛的能力，已經有很顯著的進步。然而，現有的方法大多專注於單人動畫，難以處理多路音訊輸入，也因此常發生音訊與人物無法正確配對的問題。

MultiTalk 為了克服這些挑戰，提出了一項新任務：多人對話影片生成，並引入了一個名為 MultiTalk 的新框架。這個框架專為解決多人生成過程中的難題而設計。具體來說，在處理音訊輸入時，我們研究了多種方案，並提出了一種**標籤旋轉位置嵌入（L-RoPE）**的方法，來解決音訊與人物配對不正確的問題。香港科技大學數學與數學研究中心及電子與電腦工程系有份參與。

OmniAvatar 是一種創新的音訊驅動全身視訊生成模型，它透過提高唇形同步精度和自然動作來增強人體動畫。 OmniAvatar 引入了一種逐像素多層音訊嵌入策略，可更好地捕捉潛在空間中的音訊特徵，從而增強不同場景下的唇形同步效果。為了在有效融合音訊特徵的同時保留基礎模型的提示驅動控制能力，我們採用了基於 LoRA 的訓練方法。大量實驗表明，OmniAvatar 在臉部和半身視訊生成方面均超越現有模型，能夠提供基於文字的精準控制，用於創建播客、人機互動、動態場景和歌唱等各個領域的影片。

MTVCrafter 是專門用來製作高品質的數字人動畫。現有方法依賴二維渲染的姿態影像進行運動引導，這限制了其泛化能力並丟棄了重要的三維資訊。MTVCrafter 有兩個厲害的設計：第一個是 4DMoT（4D 運動標記器），能夠將三維動作轉成 4D 運動標記，比二維圖片更精準地捕捉時間和空間的細節！第二個是 MV-DiT（運動感知影片 DiT），用了一個特別的 4D 位置編碼技術，讓動畫在複雜的三維世界裡也能流暢又生動。實驗結果的 FID-VID 分數達到 6.98，比第二名強了 65%，不管是單人、多人、全身或半身的角色，還是各種風格和場景，它都能輕鬆搞定！

InfiniteYou 的獨特之處在於其強大的身份保留技術！透過核心組件 InfuseNet，即使在生成全新場景或是不同風格的相片，也能精準保留相片中的人物特徵。您可以僅以文字描述，就能讓同一人物出現在不同情境、穿著不同的衫，甚至呈現不同的風格。它亦支援 ControlNet 和 LoRA 的進階控制，令創意揮灑的同時，也能精細調整生成結果，直至符合您需要的獨特內容！(ByteDance)

LHM (Large Animatable Human Reconstruction Model) 是一個高效及高質量的 3D 人體重建方案模型，能夠在幾秒鐘內生成影片。模型利用了多模態的 Transformer 架構，以注意力機制，對人體特徵和影像特徵進行編碼，能夠詳細保存服裝的幾何形狀和紋理。為了進一步增強細節，LHM 提出了一種針對頭部特徵的金字塔型編碼方案，能夠生成頭部區域的多種特徵。（阿里巴巴）

VisoMaster 是一個功能強大的面部替換與編輯工具，無論是靜態圖片還是動態影片，都能夠輕鬆地進行面部替換。替換後的結果非常自然流暢，幾乎看不出任何人工編輯的痕跡。而且可以根據需求定制模型和微調參數，以獲得更個性化的面部替換效果。