DreaMontage 是一個由 ByteDance 開發的開源 AI 影片生成框架，專注於「任意幀引導的一鏡到底」（one-shot）長影片合成，能從多個圖片或短片片段自動產生連貫、流暢的敘事影片。
DreaMontage 是一個由 ByteDance 開發的開源 AI 影片生成框架，專注於「任意幀引導的一鏡到底」（one-shot）長影片合成，能從多個圖片或短片片段自動產生連貫、流暢的敘事影片。
InfCam，一個無需深度資訊、攝影機控制的視訊生成框架，能夠實現高姿態保真度。該框架整合了兩個關鍵組件： 架構包含同次引導自注意力層（homography-guided self-attention），輸入源視頻、目標及變換潛在表示與相機嵌入，確保時間對齊與旋轉感知推理。 變換模塊處理旋轉後添加平移嵌入，將重投影簡化為相對於無限遠平面的視差估計，提升軌跡忠實度。 透過增強 MultiCamVideo 數據集生成 AugMCV，引入多樣初始姿態與焦距軌跡，解決現有 SynCamVideo 等數據集偏差。 實驗結果表明，在 AugMCV 與 WebVid 數據集上，InfCam 在相同/不同內參情境下，於姿態準確度與視覺保真度皆優於基準，尤其在真實世界數據泛化表現突出。
InfCam，一個無需深度資訊、攝影機控制的視訊生成框架，能夠實現高姿態保真度。該框架整合了兩個關鍵組件：
架構包含同次引導自注意力層（homography-guided self-attention），輸入源視頻、目標及變換潛在表示與相機嵌入，確保時間對齊與旋轉感知推理。 變換模塊處理旋轉後添加平移嵌入，將重投影簡化為相對於無限遠平面的視差估計，提升軌跡忠實度。
透過增強 MultiCamVideo 數據集生成 AugMCV，引入多樣初始姿態與焦距軌跡，解決現有 SynCamVideo 等數據集偏差。
實驗結果表明，在 AugMCV 與 WebVid 數據集上，InfCam 在相同/不同內參情境下，於姿態準確度與視覺保真度皆優於基準，尤其在真實世界數據泛化表現突出。
近期的影片生成模型已能產生流暢且具視覺吸引力的影片片段，但在結合複雜動態與連貫的事件因果上仍然面臨挑戰。如何準確建模隨時間變化的視覺結果與狀態，依然是核心難題。 相對而言，大型語言與多模態模型（如 GPT-4o）展現出強大的視覺狀態推理與未來預測能力。為了結合這些優勢，VChain 是一種新穎的「推理時間視覺思維鏈」框架。VChain 將多模態模型的視覺推理信號，注入影片生成過程中，以增強生成模型的推理一致性。 具體而言，VChain 包含一個專用管線，利用大型多模態模型生成一組稀疏的關鍵幀作為事件快照，並在這些關鍵時刻指導預訓練影片生成器進行稀疏推理時間調整。這種設計使調整過程高效、開銷極低，且無需密集監督。
近期的影片生成模型已能產生流暢且具視覺吸引力的影片片段，但在結合複雜動態與連貫的事件因果上仍然面臨挑戰。如何準確建模隨時間變化的視覺結果與狀態，依然是核心難題。
相對而言，大型語言與多模態模型（如 GPT-4o）展現出強大的視覺狀態推理與未來預測能力。為了結合這些優勢，VChain 是一種新穎的「推理時間視覺思維鏈」框架。VChain 將多模態模型的視覺推理信號，注入影片生成過程中，以增強生成模型的推理一致性。
具體而言，VChain 包含一個專用管線，利用大型多模態模型生成一組稀疏的關鍵幀作為事件快照，並在這些關鍵時刻指導預訓練影片生成器進行稀疏推理時間調整。這種設計使調整過程高效、開銷極低，且無需密集監督。
VChain: Chain-of-Visual-Thought for Reasoning in Video Generation
Wan-Animate，一個用於角色動畫和替換的統一框架。給定一張角色圖像和一段參考視頻，Wan-Animate 可以透過精確複製視頻中角色的表情和動作來為角色製作動畫，從而產生高保真度的角色視頻。或者，它可以將動畫角色整合到參考影片中替換原始角色，複製場景的光線和色調，實現與環境的無縫融合。
Wan-Animate，一個用於角色動畫和替換的統一框架。給定一張角色圖像和一段參考視頻，Wan-Animate 可以透過精確複製視頻中角色的表情和動作來為角色製作動畫，從而產生高保真度的角色視頻。或者，它可以將動畫角色整合到參考影片中替換原始角色，複製場景的光線和色調，實現與環境的無縫融合。
Ray 3: The First Reasoning Video AI (HDR, Physics, Consistency)
Categories: 視頻模型
開源 Cosmos DiffusionRenderer 是一個視訊擴散框架，用於高品質影像和視訊的去光和重光。它是原始DiffusionRenderer 的重大更新，在 NVIDIA 改進的資料管理流程的支持下，實現了顯著更高品質的結果。 最低要求 Python 3.10 NVIDIA GPU 至少配備 16GB VRAM，建議配備 >=48GB VRAM NVIDIA 驅動程式和 CUDA 12.0 或更高版本 至少 70GB 可用磁碟空間 教學：
開源 Cosmos DiffusionRenderer 是一個視訊擴散框架，用於高品質影像和視訊的去光和重光。它是原始
DiffusionRenderer 的重大更新，在 NVIDIA 改進的資料管理流程的支持下，實現了顯著更高品質的結果。
最低要求 Python 3.10 NVIDIA GPU 至少配備 16GB VRAM，建議配備 >=48GB VRAM NVIDIA 驅動程式和 CUDA 12.0 或更高版本 至少 70GB 可用磁碟空間
Relight Any Scene with AI: NVIDIA Research Unveils DiffusionRenderer
教學：
NVIDIA's new AI Just Made Any Video Relightable (DiffusionRenderer Demo)
HuMo 是一個以人類為核心的多模態條件影片生成框架，能夠根據文本、圖片和音訊三種輸入產生高品質且可精細控制的人物影片。專案由清華大學與字節跳動智創團隊聯合開發 主要特色 快速安裝及使用
UniVerse-1 是個類似 Veo-3 的模型，可根據參考圖像和文字提示同時產生同步音訊和視訊。
UniVerse-1 是個類似 Veo-3 的模型，可根據參考圖像和文字提示同時產生同步音訊和視訊。
- 統一音視頻合成：具有同時生成音訊和視訊的強大功能。它能夠解析輸入提示，產生完美同步的視聽輸出。
- 語音音訊產生：此模型可直接根據文字提示產生流暢的語音，展現了其內建的文字轉語音 (TTS) 功能。至關重要的是，它能夠根據生成的特定字元調整語音音色。
- 樂器演奏聲音生成：此模型在創造樂器聲音方面也非常熟練。此外，它還提供了「邊彈邊唱」的功能，可以同時產生人聲和樂器音軌。
- 環境聲音生成：此模型可以產生環境聲音，產生與視訊視覺環境相符的背景音訊。
- 第一個開源的基於 Dit 的音訊視訊聯合方法：我們是第一個開源基於 DiT、類似 Veo-3 的聯合視聽生成模型。
ROSE2025，全名為「可靠且開放集事件修補（Remove Objects with Side Effects）」。旨在推動電腦視覺領域，為處理複雜、動態的視覺數據缺失問題提供更穩健、更智能的解決方案。在不斷演進的電腦視覺領域，事件修補（Event Inpainting）正成為一項引人注目的新興研究方向。 ROSE2025 涵蓋了多個關鍵研究主題，包括但不限於：基於生成式模型的事件修補方法、深度學習在事件資料恢復的應用、新穎的損失函數與評估指標、開源數據集與基準的創建、以及與機器人、自動駕駛、監控等實際應用場景的結合。
ROSE2025，全名為「可靠且開放集事件修補（Remove Objects with Side Effects）」。旨在推動電腦視覺領域，為處理複雜、動態的視覺數據缺失問題提供更穩健、更智能的解決方案。在不斷演進的電腦視覺領域，事件修補（Event Inpainting）正成為一項引人注目的新興研究方向。
ROSE2025 涵蓋了多個關鍵研究主題，包括但不限於：基於生成式模型的事件修補方法、深度學習在事件資料恢復的應用、新穎的損失函數與評估指標、開源數據集與基準的創建、以及與機器人、自動駕駛、監控等實際應用場景的結合。
LIA-X (Interpretable Latent Portrait Animator)強調其控制性，適合 AI 研究者和內容創作者使用，旨在將臉部動態從驅動影片遷移到指定的頭像，並實現精細控制。 LIA-X 功能列表 LIA-X 的可解釋性與細粒度控制能力，使其支援多種實際應用： 圖像動畫 (Image Animation)：能夠將驅動影片的臉部動態轉移到來源肖像上，並可透過控制面板進行編輯。使用者可以上傳來源圖像和驅動影片，然後使用控制面板編輯來源圖像，並生成動畫影片。 圖像編輯 (Image Editing)：允許使用者上傳來源圖像，並透過控制面板對其進行精確編輯。這包括對臉部細節的控制，例如偏航 (yaw)、噘嘴 (pout)、閉眼和眼球移動。 影片編輯 (Video Editing)：支援使用者上傳影片，並透過控制面板編輯影片的第一幀，以產生新的編輯後影片。同樣支援細粒度控制，例如頭部偏航和閉眼。 線性操控 (Linear Manipulation)：可以進行諸如偏航 (yaw)、俯仰 (pitch)、眼睛閉合與張開，以及眼球移動等臉部動態的線性控制。 3D 感知肖像影片操控 (3D-aware Portrait Video Manipulation)：這是一個更進階的應用，LIA-X 的可控性質支援此類應用。 動畫化個人資料 (Animating Your Own Data)：支援使用者自行準備圖像和影片資料（例如裁剪），然後進行動畫化處理。 細粒度、使用者引導的圖像和影片編輯：作為其可解釋和可控性質的直接結果，LIA-X 能夠實現這種精確的編輯。
LIA-X (Interpretable Latent Portrait Animator)強調其控制性，適合 AI 研究者和內容創作者使用，旨在將臉部動態從驅動影片遷移到指定的頭像，並實現精細控制。
LIA-X 功能列表
LIA-X 的可解釋性與細粒度控制能力，使其支援多種實際應用：
- 圖像動畫 (Image Animation)：能夠將驅動影片的臉部動態轉移到來源肖像上，並可透過控制面板進行編輯。使用者可以上傳來源圖像和驅動影片，然後使用控制面板編輯來源圖像，並生成動畫影片。
- 圖像編輯 (Image Editing)：允許使用者上傳來源圖像，並透過控制面板對其進行精確編輯。這包括對臉部細節的控制，例如偏航 (yaw)、噘嘴 (pout)、閉眼和眼球移動。
- 影片編輯 (Video Editing)：支援使用者上傳影片，並透過控制面板編輯影片的第一幀，以產生新的編輯後影片。同樣支援細粒度控制，例如頭部偏航和閉眼。
- 線性操控 (Linear Manipulation)：可以進行諸如偏航 (yaw)、俯仰 (pitch)、眼睛閉合與張開，以及眼球移動等臉部動態的線性控制。
- 3D 感知肖像影片操控 (3D-aware Portrait Video Manipulation)：這是一個更進階的應用，LIA-X 的可控性質支援此類應用。
- 動畫化個人資料 (Animating Your Own Data)：支援使用者自行準備圖像和影片資料（例如裁剪），然後進行動畫化處理。
- 細粒度、使用者引導的圖像和影片編輯：作為其可解釋和可控性質的直接結果，LIA-X 能夠實現這種精確的編輯。