機械人學習操作技能時，往往要把「預測未來畫面」和「即時輸出動作」綁在同一個節奏上，導致規劃與控制互相拉扯。上海交通大學、百度智能雲及上海人工智能實驗室等團隊提出的 AHA-WAM（Asynchronous Horizon-Adaptive World-Action Modeling）項目，就是要把兩者拆開來處理。

核心架構：雙分支異步運作

AHA-WAM 採用兩個 Diffusion Transformer（DiT）分支：低頻的 video DiT 負責長程的視覺世界規劃，並利用滾動式 K/V 記憶體儲存可重用的上下文；高頻的 action DiT 則接收本體感覺訊號，向 video DiT 查詢所需上下文後，即時產生短時閉環動作區塊。兩者各司其職，避免互相拖累。

兩項關鍵訓練與推論機制

• Horizon-Adaptive Offset Training（水平自適應偏移訓練）：讓執行器在規劃器與執行器出現相位差時仍能穩定運作。
• Observation-Guided Video-Context Routing（觀察引導的視覺上下文路由）：根據最新觀察調整快取的規劃上下文，無需重新運行 video DiT 即可對齊當下狀態。

實測表現亮眼

在 RoboTwin 2.0 模擬環境的 50 項雙臂任務中，AHA-WAM 達到 92.80% 平均成功率，且無需任何機械人數據預訓練；在四項原始設定的真實雙手任務中則取得 78.33% 成功率。控制頻率方面，閉環頻率達 24.17Hz；經 ODE 蒸餾的輕量版 AHA-WAM-Flash 更可達 56.95Hz，相比 Fast-WAM 提升約 10.82 倍。

AHA-WAM 適合研究世界模型、機械人操控策略，以及追求高頻閉環控制的開發團隊；其異步架構亦為離線規劃與即時控制分離的設計思路提供新參考。

項目： https://serene-sivy.github.io/aha-wam/

HERMES++是一個面向自動駕駛的統一世界模型，核心目標不是只做未來場景生成，而是同時處理3D場景理解與未來幾何預測。這點很關鍵，因為多數方法通常偏重其中一端，導致語意理解與物理演化之間仍有落差。

實際使用上，它比較適合拿來當研究型框架：先把多視角輸入整理成BEV表示，再讓模型在共享表示上同時回答當前場景理解任務，並推估未來幾何變化。若團隊正在做自駕感知、模擬預測或世界模型整合，這種設計能減少分散建模的成本。

這個專案最有意思的創新，在於把適合語意推理的資訊與幾何演化需求接起來。它透過BEV token承接多視角空間資訊，再加入LLM-enhanced world queries、Current-to-Future Link與Joint Geometric Optimization，讓目前場景語意能更自然地影響未來結構生成。

重點摘要如下：
– 以單一框架同時支援3D理解與未來點雲／幾何預測
– 使用BEV表示壓縮多視角輸入，保留較一致的空間結構
– 透過語言推理增強的world queries傳遞語意與世界知識
– 用幾何顯式與隱式約束提升未來場景結構一致性

若從應用場景來看，HERMES++最適合用在需要「理解現在、推演未來」的自駕研究，例如未來場景模擬、感知與預測聯合建模，或作為下游規劃系統的前端世界表徵。README與專案頁面顯示它在多個基準上有不錯表現，但若要評估實務部署價值，仍建議進一步確認推論成本、資料需求與特定任務設定。

如需特定模型，專案內容明確提到會結合大型語言模型（LLMs）進行語意知識轉移；不過實際採用的基礎模型細節，從目前提供資訊中不宜過度推定。整體而言，這不是入門型套件，而是一個相當有研究含量、試圖打通理解與生成邊界的自駕世界模型方案。

Source: https://github.com/H-EmbodVis/HERMESV2

ComboStoc 是一個針對擴散生成模型訓練流程的研究型實作，核心目標不是換掉整個模型架構，而是修正既有訓練對「組合式結構」取樣不足的問題。這個版本以 PyTorch 為主，提供影像擴散模型、訓練腳本，以及預訓練權重，定位相當明確：拿來驗證論文方法，也適合已有 SiT 或相近擴散管線的人直接比較。

這個專案真正有辨識度的地方，在於它不再把整筆資料視為同步走在同一個 diffusion timestep。相反地，它讓不同維度、patch，甚至可能的屬性使用非同步時間步，藉此更完整覆蓋高維資料中的組合空間；這也是它和一般只調 loss、scheduler 或採樣器的做法最不一樣之處。

實務上，它延續 SiT 風格的實作思路，並提供基於 PyTorch DDP 的訓練流程，代表它不是紙上談兵，而是可在分散式訓練中直接測試。推論端也不只是在既有 checkpoint 上出圖，還能利用非同步時間步做更細緻的控制；若參考論文描述，這種機制對局部條件控制或結構化生成尤其有意義。

最能受益的族群，會是正在研究影像生成、擴散模型訓練效率，或需要面對高度結構化資料的人。若你關心的是更快收斂、較低 FID，或想把相同模型延伸到更有屬性組合複雜度的任務，這個專案值得細看；至於 3D structured shape 的完整程式，儲存庫目前看來仍是後續補上。

• 特色在於非同步 diffusion timestep，不是單純更換 backbone
• 以 PyTorch 實作，並提供 DDP 訓練腳本
• 已附預訓練的 ComboStoc-XL-2 權重，可直接做採樣比較
• 適合拿來研究高維資料中組合複雜度對生成品質的影響

Source: https://github.com/Xrvitd/ComboStoc

AnyRecon利用視頻擴散模型從輸入視頻中重建任意的3D視圖。這個創新的工具對於希望探索視覺敘事新維度的內容創作者和研究人員特別有用。

在開始使用AnyRecon時，最初應專注於理解其核心功能——將連續幀轉換為空間上一致的3D重建。該過程涉及將視頻數據通過預訓練模型，該模型輸出詳細的3D模型。此工作流程需要仔細準備輸入視頻並精確配置模型參數。

研究人員和藝術家最能受益於AnyRecon的功能。它使他們能夠從現有的視頻內容生成沉浸式的3D環境，為虛擬現實應用和互動媒體打開了可能性。然而，用戶應該意識到該工具需要強大的大型語言模型（LLM）才能達到最佳性能。

主要收穫包括：
* AnyRecon使用視頻擴散模型進行3D重建。
* 適合內容創作和研究目的。
* 需要堅固的LLM以獲得最佳效果。

了解AnyRecon的底層機制有助於用戶有效地量身定製他們的項目。通過嘗試不同的視頻輸入和調整設置，創作者可以解鎖獨特的視覺體驗。

Source: https://github.com/OpenImagingLab/AnyRecon

MultiWorld 在可擴充的多代理、多視角視頻世界模型的開發上代表了一個重要的進步。這個專案對於那些希望在複雜環境中模擬多個代理和視角的人工智慧和機器人領域的研究人員和開發人員特別有價值。在深入研究 MultiWorld 時，首先需要理解其基礎概念：建立一個虛擬世界，讓多個代理能夠同時從各種角度進行互動和學習。這種設定不僅增強了模擬的真實感，還提供了一個堅實的平台，用於在動態和不可預測的情境中測試和優化 AI 算法。

在實際應用中，MultiWorld 通過將先進的機器學習技術與複雜的模擬環境相結合來運作。該系統允許創建詳細的虛擬世界，每個代理可以從其獨特的視角感知環境，與其他代理互動，並從這些互動的結果中學習。這種方法對於需要高度情境意識和適應性決策的應用特別有益，例如自動駕駛汽車導航或複雜的機器人任務。然而，需要注意的是，這種系統的複雜性也帶來了某些權衡。例如，運行多個代理和視角的計算需求可能相當大，需要強大的硬體和高效的資源管理。

從 MultiWorld 中受益最大的研究人員和開發人員是那些從事需要深入了解多代理互動和多視角感知的專案的人。這包括人工智慧研究、機器人技術，甚至遊戲開發領域的專業人士，這些領域中真實和動態的環境是必不可少的。通過利用 MultiWorld，這些專業人士可以創建更準確的模擬，從而做出更明智的決策和創新。然而，實施時必須清楚了解專案的目標和模擬環境的具體需求。

在考慮將 MultiWorld 用於專案時，有幾個因素需要注意。首先，系統的複雜性意味著需要對底層的機器學習演算法和模擬環境有深入的了解。這可能需要額外的培訓或與這些領域的專家合作。其次，運行模擬所需的計算資源可能是相當大的，因此仔細規劃和優化是必不可少的。最後，雖然 MultiWorld 為模擬多代理、多視角場景提供了一個強大的工具，但重要的是要認識到其侷限性，並考慮這些侷限性可能如何影響專案的結果。通過仔細權衡這些考慮因素，開發人員和研究人員可以最大化 MultiWorld 的好處，同時最小化潛在的缺點。

對於那些希望在多代理系統和多視角模擬領域取得進展的人來說，MultiWorld 提供了一個令人信服的機會。儘管在理解和資源方面需要大量的投資，但在增強模擬能力和改進 AI 算法方面的潛在回報是巨大的。對於那些準備應對挑戰的人，MultiWorld 為人工智慧和機器人領域的創新和發現提供了一個強大的平台。

Source: https://github.com/CIntellifusion/MultiWorld