AI 不僅能創造出栩栩如生的圖片，還能生成數分鐘、甚至更長，且故事連貫、情節流暢的影片。這曾是生成式AI領域一個巨大的挑戰。然而，一項名為「上下文混合」(Mixture of Contexts, MoC) 的創新技術，正逐步將這個夢想變為現實。這項由 Shengqu Cai 等研究人員提出的最新進展，為長影片生成帶來了革命性的解決方案，有效克服了現有模型在處理「長期上下文記憶」上的瓶頸。

生成長影片的核心挑戰，在於模型必須能夠在漫長的時間序列中，保持並檢索關鍵事件，同時避免資訊崩潰或內容漂移。現有的擴散變換器（diffusion transformers）雖然在短影片生成方面表現出色，但其自注意力（self-attention）機制的二次方成本，使得處理長序列時，記憶體和計算資源的消耗變得難以承受，導致效率低下且難以優化。這意味著，隨著影片時長的增加，AI模型可能會「忘記」影片開頭的人物身份、動作或場景設定，導致影片內容的連貫性、一致性大大降低。

你是否曾因圖像模糊而感到困擾？想放大照片卻又擔心細節盡失？在數位時代，清晰的視覺體驗至關重要。今天，我們將深入探討一項令人興奮的技術——Vision-SR1，一個基於視覺空間推理網路的圖像超解析度解決方案，它有望徹底改變我們處理低解析度圖像的方式。

圖像超解析度（Super-Resolution, SR）的目標是從低解析度（Low-Resolution, LR）圖像中重建出高解析度（High-Resolution, HR）圖像。這項技術在監控、醫學影像、娛樂等多個領域都有廣泛應用。然而，如何有效恢復細節並生成逼真的高解析度圖像，一直是研究人員面臨的挑戰。Vision-SR1 正是為了解決這一挑戰而誕生的創新方法。

Vision-SR1 項目，全名為「Visual-Spatial Reasoning Network for Image Super-Resolution」（用於圖像超解析度的視覺空間推理網路），其核心在於引入了一個獨特的視覺空間推理機制。這意味著它不僅僅是簡單地放大圖像，而是能夠理解圖像中的空間關係和視覺語義，進而更智慧地推斷和重建缺失的細節。透過這種方式，Vision-SR1 能夠生成更為精確和自然的高解析度圖像，顯著提升視覺品質.。

LIA-X (Interpretable Latent Portrait Animator)強調其控制性，適合 AI 研究者和內容創作者使用，旨在將臉部動態從驅動影片遷移到指定的頭像，並實現精細控制。

LIA-X 功能列表

LIA-X 的可解釋性與細粒度控制能力，使其支援多種實際應用：

• 圖像動畫 (Image Animation)：能夠將驅動影片的臉部動態轉移到來源肖像上，並可透過控制面板進行編輯。使用者可以上傳來源圖像和驅動影片，然後使用控制面板編輯來源圖像，並生成動畫影片。
• 圖像編輯 (Image Editing)：允許使用者上傳來源圖像，並透過控制面板對其進行精確編輯。這包括對臉部細節的控制，例如偏航 (yaw)、噘嘴 (pout)、閉眼和眼球移動。
• 影片編輯 (Video Editing)：支援使用者上傳影片，並透過控制面板編輯影片的第一幀，以產生新的編輯後影片。同樣支援細粒度控制，例如頭部偏航和閉眼。
• 線性操控 (Linear Manipulation)：可以進行諸如偏航 (yaw)、俯仰 (pitch)、眼睛閉合與張開，以及眼球移動等臉部動態的線性控制。
• 3D 感知肖像影片操控 (3D-aware Portrait Video Manipulation)：這是一個更進階的應用，LIA-X 的可控性質支援此類應用。
• 動畫化個人資料 (Animating Your Own Data)：支援使用者自行準備圖像和影片資料（例如裁剪），然後進行動畫化處理。
• 細粒度、使用者引導的圖像和影片編輯：作為其可解釋和可控性質的直接結果，LIA-X 能夠實現這種精確的編輯。

OmniTry，這是一個由昆位元人工智慧和浙江大學開發的虛擬試穿框架。該系統旨在擴展虛擬試穿功能，使其不僅限於服裝，還能應用於各種可穿戴物品，例如珠寶和配飾，並且支援無遮罩設置，更適合實際應用。OmniTry 採用了兩階段訓練管道，首先利用大量不成對的圖像進行無遮罩定位訓練，然後再利用成對圖像進一步精細調整以確保外觀一致性。該專案的程式碼、模型權重和評估基準都已公開發布，供研究人員和開發者使用。

用於音訊驅動頭像視訊產生的擴散模型難以合成具有自然音訊同步和身份一致性的長視訊。基於 Wan2.1-1.3B 的 StableAvatar 音訊驅動的頭像視訊效果，是首個端到端視訊擴散變換器，無需後製即可合成無限長的高品質視訊。