MultiWorld 可擴充的多代理、多視角視頻世界模型

Screenshot

MultiWorld 在可擴充的多代理、多視角視頻世界模型的開發上代表了一個重要的進步。這個專案對於那些希望在複雜環境中模擬多個代理和視角的人工智慧和機器人領域的研究人員和開發人員特別有價值。在深入研究 MultiWorld 時,首先需要理解其基礎概念:建立一個虛擬世界,讓多個代理能夠同時從各種角度進行互動和學習。這種設定不僅增強了模擬的真實感,還提供了一個堅實的平台,用於在動態和不可預測的情境中測試和優化 AI 算法。

在實際應用中,MultiWorld 通過將先進的機器學習技術與複雜的模擬環境相結合來運作。該系統允許創建詳細的虛擬世界,每個代理可以從其獨特的視角感知環境,與其他代理互動,並從這些互動的結果中學習。這種方法對於需要高度情境意識和適應性決策的應用特別有益,例如自動駕駛汽車導航或複雜的機器人任務。然而,需要注意的是,這種系統的複雜性也帶來了某些權衡。例如,運行多個代理和視角的計算需求可能相當大,需要強大的硬體和高效的資源管理。

從 MultiWorld 中受益最大的研究人員和開發人員是那些從事需要深入了解多代理互動和多視角感知的專案的人。這包括人工智慧研究、機器人技術,甚至遊戲開發領域的專業人士,這些領域中真實和動態的環境是必不可少的。通過利用 MultiWorld,這些專業人士可以創建更準確的模擬,從而做出更明智的決策和創新。然而,實施時必須清楚了解專案的目標和模擬環境的具體需求。

在考慮將 MultiWorld 用於專案時,有幾個因素需要注意。首先,系統的複雜性意味著需要對底層的機器學習演算法和模擬環境有深入的了解。這可能需要額外的培訓或與這些領域的專家合作。其次,運行模擬所需的計算資源可能是相當大的,因此仔細規劃和優化是必不可少的。最後,雖然 MultiWorld 為模擬多代理、多視角場景提供了一個強大的工具,但重要的是要認識到其侷限性,並考慮這些侷限性可能如何影響專案的結果。通過仔細權衡這些考慮因素,開發人員和研究人員可以最大化 MultiWorld 的好處,同時最小化潛在的缺點。

對於那些希望在多代理系統和多視角模擬領域取得進展的人來說,MultiWorld 提供了一個令人信服的機會。儘管在理解和資源方面需要大量的投資,但在增強模擬能力和改進 AI 算法方面的潛在回報是巨大的。對於那些準備應對挑戰的人,MultiWorld 為人工智慧和機器人領域的創新和發現提供了一個強大的平台。

Source: https://github.com/CIntellifusion/MultiWorld

Categories: 香港大學, 開源, 世界模型

OmniShow 全方位人體物件互動影片生成模型

OmniShow 標誌
Correr-Zhou/OmniShow 在 GitHub 上

OmniShow 提出了一種突破性的人體物件互動影片生成(HOIVG)解決方案,提供了一個統一的框架,整合了文字、參考圖像、音訊和姿態條件。這個多功能模型特別吸引電腦視覺和多媒體處理領域的研究人員和開發人員,他們希望推動影片合成技術的邊界。對於考慮使用此工具的人,首先應該關注其核心功能以及如何應用於各種任務,例如音訊驅動的化身、物件交換和影片混音。

該模型的有效性在於其能夠無縫處理多種類型的輸入數據。在實踐中,OmniShow 使用 統一通道條件 來整合參考圖像和姿態,使用由參考重建損失監督的偽幀增強影片令牌。這確保生成的影片與輸入數據保持語義一致性。此外,閘控局部上下文注意力 在對齊音訊特徵與影片幀方面發揮了重要作用,確保精確同步。分離然後聯合訓練 策略允許高效使用多樣化的數據集,最初在單個任務上訓練專業模型,然後將它們合併以實現全面的多模式能力。

從 OmniShow 中受益最大的研究人員和開發人員是那些從事需要高保真影片生成和複雜多模式輸入的專案的人。該模型在單一框架內支援 R2V(參考到影片)、RA2V(參考+音訊到影片)、RP2V(參考+姿態到影片)和 RAP2V(參考+音訊+姿態到影片)等任務的靈活性,使其成為無價的工具。它啟用廣泛的應用,從創建對音訊輸入做出反應的逼真化身,到生成準確反映指定姿態和物件的影片。

然而,需要考慮權衡。OmniShow 架構的複雜性可能對那些新接觸先進影片生成模型的人構成挑戰。使用者應當準備好面對陡峭的學習曲線和由於模型的全面性可能導致的較長訓練時間。此外,對多種模式的高品質輸入數據的要求可能很嚴苛,因為劣質輸入可能會導致不滿意的輸出。

為了充分利用 OmniShow,使用者應從探索 HOIVG-Bench 開始,這是一個專門的基準測試,提供在各種多模式條件下對 HOIVG 的系統評估。該基準測試包括 135 個精心挑選的樣本,配有詳細的文字說明、參考圖像、音訊和姿態序列,提供了一個全面的數據集,用於測試和驗證模型的性能。通過檢查這些樣本,使用者可以了解 OmniShow 如何處理不同類型的輸入數據,並識別潛在改進的領域。

OmniShow 是任何參與先進影片生成任務的人的強大工具。其將多種模式統一到單一連貫框架中的能力使其與其他模型區別開來。儘管它提供了顯著的好處,使用者應當注意與其複雜性和數據需求相關的挑戰。通過仔細考慮這些因素並專注於模型的核心優勢,研究人員和開發人員可以釋放其全部潛力,並推動人體物件互動影片生成領域的創新。

Source: https://github.com/Correr-Zhou/OmniShow

Categories: 香港大學, 香港中文大學, 騰訊, 視頻模型, 開源

DeepTutor:原生個人化學習助理

DeepTutor
HKUDS/DeepTutor 在 GitHub 上

DeepTutor 是一個革命性的個人化學習平台,提供一系列 AI 驅動的工具,滿足多樣化的教育需求。無論您是準備考試的學生,還是希望提升技能的專業人士,DeepTutor 都能提供全面的解決方案。該平台的突出特點是其 統一聊天工作區,將五種不同的模式——聊天、深入解決、測驗生成、深入研究和數學動畫——無縫整合到單一、連貫的線程中。這種設計確保用戶可以輕鬆地在不同的學習活動之間切換,而不會丟失上下文或動力。

對於初次接觸 DeepTutor 的用戶,最好的開始方式是使用 聊天模式。這種模式作為一個多功能的起點,您可以進行流暢的對話、提出問題並獲得即時反饋。隨著您對平台的熟悉,您可以逐步探索其他模式。例如,深入解決 模式適合解決複雜問題,提供包括規劃、調查、解決和驗證在內的結構化方法。每個步驟都經過精心記錄,確保透明度並有助於學習過程。

個人導師機器人 是 DeepTutor 的另一個亮點。與傳統的聊天機器人不同,這些自主導師在自己的工作區內運行,擁有獨特的個性和技能組。它們可以設置提醒、學習新技能並隨著您的教育旅程共同進化。由 nanobot 驅動的這些導師機器人提供個人化協助,適應您的學習風格和節奏。這項功能對於需要持續指導和支持的學生特別有益。

在實際應用中,DeepTutor 通過建立用戶的 活躍檔案 來運作。這個檔案涵蓋了您所學習的內容、學習方式以及未來的方向。這些資訊在所有功能和導師機器人之間共享,並隨著每次互動變得更加精確。這種持久的記憶確保平台可以隨著時間提供越來越量身訂製的建議和支持。知識中心 進一步增強了這種個人化體驗,允許您上傳 PDF、Markdown 和文本文件以創建 RAG 就緒的知識庫。這些文件不是靜態的;它們主動推動每一次對話,與您的學習生態系統無縫整合。

DeepTutor 的優勢對於重視結構化、適應性學習的個人來說最為顯著。學生可以利用該平台創建視覺化、逐步的學習旅程,而專業人士可以使用它進行持續的技能發展。例如,引導學習 功能將個人材料轉化為結構化的多步驟計劃,為每個知識點生成互動頁面。這種方法不僅促進更深的理解,還促進了與材料的主動互動。

然而,也有一些權衡需要考慮。DeepTutor 的先進功能伴隨著學習曲線,特別是對於不熟悉 AI 驅動教育工具的用戶。設置平台需要一些技術知識,特別是在配置環境變量和與各種 LLM 和嵌入提供者整合時。此外,DeepTutor 的效果在很大程度上取決於您建立的知識庫的質量和相關性。用戶必須花時間整理和組織他們的材料,才能充分利用平台的功能。

儘管存在這些挑戰,DeepTutor 為那些希望提升學習體驗的人提供了一個令人信服的解決方案。它能夠整合多種學習模式、提供個人化輔導並建立全面的知識中心,使其成為任何致力於持續學習和技能發展的人的寶貴工具。通過專注於核心功能並逐步探索更先進的功能,用戶可以釋放 DeepTutor 的全部潛力並轉變他們的教育旅程。

Source: https://github.com/HKUDS/DeepTutor

Categories: 香港大學, Agent, 開源

NVlabs/Sana:SANA:使用線性擴散變換器進行高效高解析度影像合成:快速專案概覽

logo
來源:GitHub 上的 NVlabs/Sana

SANA 是一個以效率為導向的代碼庫,用於高解析度影像和視訊生成,提供完整的訓練和推理管道。此儲存庫包含 SANA、SANA-1.5、SANA-Sprint 和 SANA-Video 的代碼。更多詳細資訊可以在我們的 📚 文件中找到。

我們介紹 SANA ,一系列用於高解析度影像和視訊生成的高效擴散模型:

  • SANA :生成高達 4K 解析度的文本到影像,比 Flux-12B 小 20 倍且快 100 倍。
  • SANA-1.5 :在訓練時間和推理時間進行高效的計算擴展,以獲得更好的品質。
  • SANA-Sprint :透過 sCM 蒸餾進行一步/少步生成,在 H100 上每張 1024px 影像只需 0.1 秒。
  • SANA-Video/LongSANA :使用區塊線性注意力 / 配合 LongLive 進行高效的視訊生成。
  • 線性注意力 :在 DiT 中用線性注意力替換傳統注意力,以在高解析度下提高效率。
  • DC-AE :32× 影像壓縮(與傳統的 8× 相比)以減少潛在令牌。

來源:https://github.com/NVlabs/Sana (NVlabs/Sana)

Source: https://github.com/NVlabs/Sana

Categories: 香港大學, NVIDIA, 影像模型, 新聞, 開源

LGTM – 0.5 秒 重建 3D 場景

LGTM 是首個原生支援 4K 饋送前向(feed-forward)方法,透過預測緊湊的高斯原語(Gaussian primitives)搭配每個原語的紋理(textures),解耦幾何複雜度與渲染解析度,避免傳統方法隨解析度增加而原語數量二次方爆炸。這是由 Yixing Lao(香港大學博士生)領導的 3D 高斯噴濺(Gaussian Splatting)研究項目,已被 ICLR 2026 接受。

Categories: 香港大學, 視覺模型, 視頻模型, 開源

VerseCrafter 精準控制鏡頭

VerseCrafter 是一套以 4D 幾何控制驅動的影片擴散模型,目標在單張參考圖上同時掌控相機運動與多目標的三維軌跡,讓生成的影片在視角變化與物體遷移間保持高度一致。讓使用者能夠像操控遊戲或電影一樣,精確控制鏡頭和物體的運動,從而生成逼真的動態影片。

一般的 AI 影片模型通常難以同時掌控鏡頭移動和多個物體的動作,VerseCrafter 透過一種全新的表示法解決這個問題:1.  動態世界模擬:它不只是畫出一連串的畫面,而是先在一個隱藏的 3D 空間中建立場景的基礎結構(例如背景點雲),然後加上時間軸,變成 4D。2.  精準控制:鏡頭:你可以指定鏡頭要怎麼飛行(例如從左邊飛到右邊,或是繞著物體旋轉)。你甚至可以指定畫面中的物體要如何移動、旋轉。

Categories: 香港大學, 騰訊, 影像處理, 視頻模型

ProEdit:開源圖片及影片編輯

ProEdit 透過 KV-mix 在注意力層融合源/目標特徵,及 Latents-Shift 擾動潛在空間,實現高保真編輯。 支援 FLUX、HunyuanVideo 等模型,同時亦整合 Qwen3-8B 解析自然語言指令。

ProEdit 解決傳統反轉編輯過度依賴源圖的問題,能準確變換主體屬性如姿態、數量、顏色,同時保持背景一致。 適用於圖像替換(如老虎變貓、襯衫變毛衣)與影片動態編輯(如紅車變黑車、鹿變牛)。適合 AI 內容創作者、影片後製,plug-and-play 相容 RF-Solver 等工具,在多項基準測試達 SOTA 效能。

ProEdit: Inversion-based Editing From Prompts Done Right

Categories: 香港大學, 香港中文大學, 影像模型, 影像處理, 視頻模型

DeepCode AI 驅動的開發平台

DeepCode 是個 AI 驅動的開發平台,可自動執行程式碼產生和實作任務。我們的多代理系統能夠處理將需求轉化為功能齊全、結構良好的程式碼的複雜性,讓您專注於創新,而不是實現細節。

DeepCode 透過為常見的開發任務提供可靠的自動化來解決這些工作流程效率低下的問題,從而簡化從概念到程式碼的開發工作流程。
https://github.com/HKUDS/DeepCode

DeepCode: This FREE Agentic AI Coder is INSANE!
Categories: 香港大學, Vibe Coding, 編程, 開源

ROSE2025 移除影片中任何物件

ROSE2025,全名為「可靠且開放集事件修補(Remove Objects with Side Effects)」。旨在推動電腦視覺領域,為處理複雜、動態的視覺數據缺失問題提供更穩健、更智能的解決方案。在不斷演進的電腦視覺領域,事件修補(Event Inpainting)正成為一項引人注目的新興研究方向。

ROSE2025 涵蓋了多個關鍵研究主題,包括但不限於:基於生成式模型的事件修補方法、深度學習在事件資料恢復的應用、新穎的損失函數與評估指標、開源數據集與基準的創建、以及與機器人、自動駕駛、監控等實際應用場景的結合。

Categories: 香港大學, 影像模型, 影像處理, 視覺模型, 視頻模型, 開源

VisionThink 智慧高效視覺語言模型

VisionThink 利用強化學習自主學習減少視覺 token。與傳統的高效 VLM 方法相比,這方法在
微粒度基準測試(例如涉及 OCR 相關任務的基準測試)上取得了顯著的提升。

由香港中文大學,香港大學,科技大學大聯合開發

VisionThink: Smart and Efficient Vision Language Model via Reinforcement Learning
Categories: 香港大學, 香港中文大學, 香港科技大學, 推理引擎, 模型, 深度學習, 視覺模型, 開源