相較於最先進的 360 度影片生成方法，Matrix-3D 在全景影片的視覺品質與合理幾何結構上更優越。同時，在視覺品質與相機可控性上，也超越先前的相機控制影片生成方法。廣泛實驗證明其在全景影片生成與 3D 世界生成上的最先進效能。香港科技大學(廣州分校)有份參預！
VisionThink 智慧高效視覺語言模型
VisionThink 利用強化學習自主學習減少視覺 token。與傳統的高效 VLM 方法相比，這方法在
微粒度基準測試（例如涉及 OCR 相關任務的基準測試）上取得了顯著的提升。
由香港中文大學，香港大學，科技大學大聯合開發
VisionThink: Smart and Efficient Vision Language Model via Reinforcement Learning
MultiTalk 音訊驅動生成多人對話影片
由音訊驅動的人體動畫技術，以面部動作同步且畫面吸睛的能力，已經有很顯著的進步。然而，現有的方法大多專注於單人動畫，難以處理多路音訊輸入，也因此常發生音訊與人物無法正確配對的問題。
MultiTalk 為了克服這些挑戰，提出了一項新任務：多人對話影片生成，並引入了一個名為 MultiTalk 的新框架。這個框架專為解決多人生成過程中的難題而設計。具體來說，在處理音訊輸入時，我們研究了多種方案，並提出了一種**標籤旋轉位置嵌入（L-RoPE）**的方法，來解決音訊與人物配對不正確的問題。香港科技大學數學與數學研究中心及電子與電腦工程系有份參與。
FlashVideo 高速生成高解像度影片
FlashVideo 由香港大學、香港科技大學及 ByteDance 聯合開發，你只需要準備一張或者幾張參考圖片，加上文字提示詞，就可以生成高解像度的影片。過程主要分為兩部份，第一部分是優先處理提示詞，同時以低解像度處理圖片，減少 DIT 的運算時間。第二部分會建立低解像度和高解像度之間的匹配。結果能夠以高速生成 1 0 8 0 P 的高清影片。[DiT] Diffusion Transformer | [NFE ] Number of Function Evaluations
MagicQuill 智慧型互動圖像編輯系統
又一國內手足大作 ! 香港科大有份幫手！開源並已經可以下載。
MagicQuill demo video
