Matrix-Game 2.0 是一套高效、強大的互動世界生成系統，專注於視覺與行動融合，能夠在多種遊戲場景下生成高質量、流暢並可交互的視頻內容，領先於現有主流方案，適合用於前沿AI遊戲和虛擬世界研究。主要由Skywork AI團隊開發。
Matrix-Game 2.0 互動世界生成系統
Omni-Effects：統一可控的視覺效果
Omni-Effects 是一套針對視覺特效（VFX）生成的統一框架，主打多效果合成和空間可控性。這項技術突破了以往僅能針對單一特效單獨訓練（如 per-effect LoRA）的限制，可同時在指定區域生成多種特效，極大拓展了在影視製作及創意領域的應用可能性。
框架的核心包含兩項關鍵創新：(1) 基於 LoRA 的混合專家 (LoRA-MoE)，將多種效果整合到統一模型中，同時有效地減少跨任務幹擾。 (2) 空間感知提示 (SAP)將空間遮罩資訊合併到文字標記中，從而實現精確的空間控制。
Qwen-Image 的 LoRA 訓練
Train a Qwen-Image LoRA on 24GB VRAM With AI Toolkit
影片主要介紹如何使用 Ostris AI 開發的 AI Toolkit，在僅有 24 GB VRAM 的 RTX 4090 或 3090 GPU 上，訓練一個基於 Qwen-Image 模型的 LoRA（Low-Rank Adaptation）風格模型。Qwen-Image 是一個 20 億參數的巨型模型，通常需要更高規格的硬體（如 32 GB VRAM 的 RTX 5090），但作者透過創新技術（如量化與 Accuracy Recovery Adapter）實現了在消費級 GPU 上的訓練。影片強調這是對先前影片的延續，先前影片曾在 5090 上使用 6-bit 量化訓練角色 LoRA，而本次聚焦於更常見的 24 GB VRAM 硬體。
LongVie – 可控超長影片生成
可控的超長影片生成是一項基礎但具有挑戰性的任務，因為現有的方法雖然對短片段有效，但由於時間不一致和視覺品質下降等問題而難以擴展。
LongVie 的核心設計可確保時間一致性：
1）統一雜訊初始化策略，在各個片段之間保持一致的生成；
2）全域控制訊號歸一化，可在整個視訊的控制空間中強制對齊。為了減輕視覺品質下降，LongVie 採用密集（例如深度圖）和稀疏（例如關鍵點）控制訊號，並輔以一種退化感知訓練策略，可以自適應地平衡模態貢獻以保持視覺品質。
VACE First Last + Kontext ComfyUI 教學
這個教程介紹如何使用 Flux Kontext 和 VACE 第一幀/最後一幀在 ComfyUI 中創建基於關鍵幀的高級動畫！Kontext 瞭解完整的圖像上下文，而 VACE 允許在起始幀和完全不同的最終姿勢或角色之間無縫移動。無論您是將一個人變形為另一個人，還是為角色的姿勢製作跨時間的動畫，這都是 AI 視頻生成的一個突破。
VACE First Last + Kontext: KeyFrame Animation When You Only Have One Frame! ComfyUI Tutorial & Demos
MultiTalk 音訊驅動生成多人對話影片
由音訊驅動的人體動畫技術，以面部動作同步且畫面吸睛的能力，已經有很顯著的進步。然而，現有的方法大多專注於單人動畫，難以處理多路音訊輸入，也因此常發生音訊與人物無法正確配對的問題。
MultiTalk 為了克服這些挑戰，提出了一項新任務：多人對話影片生成，並引入了一個名為 MultiTalk 的新框架。這個框架專為解決多人生成過程中的難題而設計。具體來說，在處理音訊輸入時，我們研究了多種方案，並提出了一種**標籤旋轉位置嵌入（L-RoPE）**的方法，來解決音訊與人物配對不正確的問題。香港科技大學數學與數學研究中心及電子與電腦工程系有份參與。
NVIDIA RTX AI 加速 FLUX.1 Kontext [dev]
NVIDIA 與 Black Forest Labs 合作，使用
NVIDIA TensorRT軟體開發套件和量化技術針對
NVIDIA RTX GPU 優化 FLUX.1 Kontext [dev]，
從而以更低的 VRAM 要求提供更快的推理速度。
MTVCrafter 數字人動畫
MTVCrafter 是專門用來製作高品質的數字人動畫。現有方法依賴二維渲染的姿態影像進行運動引導，這限制了其泛化能力並丟棄了重要的三維資訊。MTVCrafter 有兩個厲害的設計：第一個是 4DMoT（4D 運動標記器），能夠將三維動作轉成 4D 運動標記，比二維圖片更精準地捕捉時間和空間的細節！第二個是 MV-DiT（運動感知影片 DiT），用了一個特別的 4D 位置編碼技術，讓動畫在複雜的三維世界裡也能流暢又生動。實驗結果的 FID-VID 分數達到 6.98，比第二名強了 65%，不管是單人、多人、全身或半身的角色，還是各種風格和場景，它都能輕鬆搞定！
n8n 與 ComfyUI 自動化生成本地 AI 視頻
教程展示了AI工具鏈整合的未來趨勢，將碎片化任務轉爲端到端自動化系統，適合想提升創作效率的技術型用戶。若需實作細節，可參考影片中的Docker指令與節點配置截圖。
n8n with ComfyUI AI Video Automation Local Setup Walkthrough
WAN 2.1 VACE 模型的原生支援
1.3B 模型採用 Creative Commons 非商業授權，14B 模型則為 Apache 2 授權。
影片詳細展示如何在ComfyUI中下載、載入不同模型，根據顯存選擇合適的模型版本，並調整參數以優化生成效果（如步數、強度等）
- ComfyUI現在原生支援WAN 2.1 VACE模型，提供1.3B（適合低顯存顯卡）和14B（適合高顯存顯卡）兩種模型。
- 多種 AI 影片生成工作流程：
- 文字轉影片（Text-to-Video）
- 圖像轉影片（Image-to-Video）
- 影片控制（Video Control）
- 影片外延（Video Outpainting）
- 首尾影格生成（First Frame/Last Frame）
Amazing AI Video Natively in ComfyUI - An Introduction to WAN VACE
