Meta FAIR 的「Code World Model (CWM)」是一個 32B 參數、專門為「帶世界模型的程式碼生成研究」設計的開放權重 LLM。它的關鍵點是：不只學 code syntax，而是透過大量「執行軌跡」去內化程式執行對系統狀態的影響，並在多任務 RL 下強化 agentic coding 能力。

CWM 是什麼？

• CWM（Code World Model）是一個 32 億參數（32B）、dense、decoder‑only 的 Transformer LLM，主要面向程式碼生成與程式相關推理。
• 它被設計成「世界模型式」的 code LLM：不只預測下一個 token，而是學會在腦中「模擬程式執行過程」及其對環境狀態的影響。
• 官方目標是提供一個強大的開放權重 testbed，讓研究者探索「世界模型 + agentic reasoning/planning」如何提升程式碼生成與軟體工程工作流。

訓練流程與 world modeling 設計

CWM 的訓練 pipeline 不是單純「pretrain → SFT」，而是刻意插入 world‑model mid‑training，再加上多任務 RL：

• 前期：先在一般語言與程式碼資料上做大規模預訓練，建立廣泛的語言、程式知識基礎。
• Mid‑training（世界模型核心）：
  • 在大量「observation‑action 軌跡」上進一步訓練，這些軌跡來自 Python interpreter 執行 trace，以及在 Docker container 中以 agent 方式操作系統的互動紀錄。
  • 這類資料讓模型看到「程式片段／指令 → 執行過程 → 輸出與系統狀態變化」，等於學習一個對應「code → world dynamics」的隱式世界模型。
• 後期 post‑training：
  • 先進行 supervised fine‑tuning，引入明確的 reasoning format、step‑by‑step 推理風格等標註資料。
  • 再用 multi‑task RL（文中提到使用 GRPO 類型方法）在可驗證的 coding 任務、數學問題、多輪軟體工程環境中進行強化學習，reward 來自於測試通過率、解答正確與任務完成度。

這種設計的重點是：讓 RL 是「從已經具備世界模型的基底」開始，而不是只在純 token LLM 上做 RL，理論上比較容易學到長程規劃與工具使用策略。

模型架構與上下文長度

• CWM 是一個 64 層的 decoder‑only Transformer，採用現代 LLM 常見配置（例如 RoPE 位置編碼、SwiGLU FFN、GQA 等）。
• 參數規模為 32B，詞彙表約 128k token，明顯針對大型 codebase 與多語言程式碼場景設計。
• 上下文長度最高達約 131k tokens，可容納整個專案、多檔案上下文與長程互動軌跡。
• 為了處理這種長上下文，它使用「交錯式注意力」：
  • 多數層採局部 attention（例如 8,192 token 視窗），每隔數層插入一次 global/sliding attention 層可以看到完整 131k 上下文，文中描述比率約為 3:1。
  • 這樣的設計在計算量可控的前提下，仍能在多層中“刷新”全局資訊，對閱讀大型 codebase 與長對話 debugging 特別有利。

基準測試成績

在多個開源 benchmark 上，CWM 以 32B 級別達到非常有競爭力甚至 SOTA 的表現：

• SWE‑bench Verified：pass@1 約 53.9%（不做 test‑time scaling），在採用 test‑time scaling 後可達約 65.8%。
• LiveCodeBench：v5 約 68.6，v6 約 63.5（pass@1）。
• 數學與推理：
  • Math‑500 約 96.6%。
  • AIME 2024 約 76.0%。
  • CruxEval Output 約 94.3%。
• 論文與解讀都提到：在同等或相近參數規模的開放權重 LLM 中，CWM 在一般 coding 與更 agentic 的軟體工程任務上都具有「best‑in‑class」水準，甚至接近或追平一些封閉大模型。

對你這種做 RAG / agent / tools‑calling 工作流的人來說，這顆模型的亮點其實是「在環境中操作和修 bug 的能力」，而不只是單輪 code completion 分數。

權重釋出與取得方式

• Meta 以「開放權重」形式釋出 CWM，提供多個 checkpoint：
  • mid‑training 後的 world‑model 版本。
  • SFT 後版本。
  • RL 後完整版。
    方便研究者分析各階段對能力的影響。
• 社群整理指出，CWM 權重目前在 GitHub 與 Hugging Face 上提供，包含 transformers 版權重與推理程式碼；Meta 採用自家訂定的 open‑weights 授權條款，主要定位在研究用途，具體使用限制需看 AI at Meta 官方頁與 HF model card 條款。
• Hugging Face transformers 已內建 CwmForCausalLM 與對應 tokenizer。

與一般 code LLM 的本質差異

和傳統只在「靜態 code corpora + 少量程式執行資料」上訓練的 code LLM 相比，CWM 的幾個關鍵差異：

• 訓練核心是「大量程式執行與 agent interaction 的軌跡」，把「程式 → 執行 → 狀態變化」當成序列學習對象，形成隱式世界模型，而不只是 code token 統計模型。
• RL 設計是圍繞「可驗證結果」（例如測試通過、問題解答正確、多輪任務完成），而不僅是人類偏好／指令跟從，這對長程規劃與工具調度尤其重要。
• 長上下文 + 交錯 attention 讓模型可以在一次推理中讀完整個 repo、ticket 歷史與多輪 log，這是很多傳統 code LLM 現階段比較薄弱的地方。

ComboStoc 是一個針對擴散生成模型訓練流程的研究型實作，核心目標不是換掉整個模型架構，而是修正既有訓練對「組合式結構」取樣不足的問題。這個版本以 PyTorch 為主，提供影像擴散模型、訓練腳本，以及預訓練權重，定位相當明確：拿來驗證論文方法，也適合已有 SiT 或相近擴散管線的人直接比較。

這個專案真正有辨識度的地方，在於它不再把整筆資料視為同步走在同一個 diffusion timestep。相反地，它讓不同維度、patch，甚至可能的屬性使用非同步時間步，藉此更完整覆蓋高維資料中的組合空間；這也是它和一般只調 loss、scheduler 或採樣器的做法最不一樣之處。

實務上，它延續 SiT 風格的實作思路，並提供基於 PyTorch DDP 的訓練流程，代表它不是紙上談兵，而是可在分散式訓練中直接測試。推論端也不只是在既有 checkpoint 上出圖，還能利用非同步時間步做更細緻的控制；若參考論文描述，這種機制對局部條件控制或結構化生成尤其有意義。

最能受益的族群，會是正在研究影像生成、擴散模型訓練效率，或需要面對高度結構化資料的人。若你關心的是更快收斂、較低 FID，或想把相同模型延伸到更有屬性組合複雜度的任務，這個專案值得細看；至於 3D structured shape 的完整程式，儲存庫目前看來仍是後續補上。

• 特色在於非同步 diffusion timestep，不是單純更換 backbone
• 以 PyTorch 實作，並提供 DDP 訓練腳本
• 已附預訓練的 ComboStoc-XL-2 權重，可直接做採樣比較
• 適合拿來研究高維資料中組合複雜度對生成品質的影響

Source: https://github.com/Xrvitd/ComboStoc

SenseNova U1引入了一種突破性的多模態AI方法，通過單一架構統一語言和視覺。這種創新允許文本和圖像之間無縫互動，而不需要單獨的適配器，增強了效率和一致性。

在探索SenseNova U1時，最初應關注其核心架構NEO-Unify，這使得模型能夠將視覺和文本數據作為統一的複合體進行處理。實際上，這意味著模型可以更有效地跨不同類型的輸入進行推理，保留語義豐富性和視覺忠實度。

研究人員和開發者最能受益於SenseNova U1的能力，特別是那些從事需要高密度資訊渲染或交錯圖文生成應用的人。該模型處理複雜任務（如創建知識插圖或旅行日誌）的能力使其成為一個寶貴的工具。

為了充分利用SenseNova U1，用戶應擁有能夠支援多模態任務的強大大型語言模型（LLM）。該模型的開源性質也鼓勵社區貢獻和進一步發展。

• SenseNova U1原生統一多模態處理。
• 它擅長交錯圖文生成。
• 用戶需要一個穩健的LLM以實現最佳性能。
• 適合研究人員和開發者。
• 在開源多模態AI中設定了新的標準。

Source: https://github.com/OpenSenseNova/SenseNova-U1

AnyRecon利用視頻擴散模型從輸入視頻中重建任意的3D視圖。這個創新的工具對於希望探索視覺敘事新維度的內容創作者和研究人員特別有用。

在開始使用AnyRecon時，最初應專注於理解其核心功能——將連續幀轉換為空間上一致的3D重建。該過程涉及將視頻數據通過預訓練模型，該模型輸出詳細的3D模型。此工作流程需要仔細準備輸入視頻並精確配置模型參數。

研究人員和藝術家最能受益於AnyRecon的功能。它使他們能夠從現有的視頻內容生成沉浸式的3D環境，為虛擬現實應用和互動媒體打開了可能性。然而，用戶應該意識到該工具需要強大的大型語言模型（LLM）才能達到最佳性能。

主要收穫包括：
* AnyRecon使用視頻擴散模型進行3D重建。
* 適合內容創作和研究目的。
* 需要堅固的LLM以獲得最佳效果。

了解AnyRecon的底層機制有助於用戶有效地量身定製他們的項目。通過嘗試不同的視頻輸入和調整設置，創作者可以解鎖獨特的視覺體驗。

Source: https://github.com/OpenImagingLab/AnyRecon

Vista4D 提供了一種獨特的視頻重拍方法，通過從新的角度合成場景。它利用 4D 點雲有效地處理現實世界中的視頻缺陷。這使得它特別適合希望擴展其視覺敘事能力的創作者。

在開始使用 Vista4D 時，重點是理解其核心功能——從新穎的角度重拍視頻。該框架對點雲工件的強健性確保了即使在不完美的重建下也能可靠運行。此特性對於維護場景完整性至關重要。

在實際應用中，Vista4D 受益於動態場景擴展和 4D 場景重組的專業人士。它在保留場景內容的同時允許精確的相機控制，為創意編輯打開了大門。用戶可以預期在視頻製作流程中獲得增強的靈活性。

該框架需要一個強大的大型語言模型（LLM）以獲得最佳結果。創作者和編輯人員將發現 Vista4D 因其創新性的視頻操作方法而極具價值。

• 使用新穎視角增強視頻重拍
• 對點雲工件具有強健性
• 適合動態場景擴展和重組

Source: https://github.com/Eyeline-Labs/Vista4D

ACE-Step v1.5 是一款開創性的開源音樂生成模型，將商業級別的品質帶到消費級硬體上，使其成為音樂創作者、製作人和愛好者的無價工具。該模型擅長快速生成高品質音樂，能夠在 A100 GPU 上於不到 2 秒內生成完整歌曲，在 RTX 3090 上則在不到 10 秒內完成。其效率和性能使廣泛的使用者群體，從業餘愛好者到專業製作人，都能利用先進的音樂生成能力，而無需依賴昂貴的商業軟體。

對於考慮使用 ACE-Step v1.5 的使用者，首先應關注其混合架構，該架構結合了語言模型（LM）與擴散變換器（DiT）。LM 作為規劃者，將使用者查詢轉換為全面的歌曲藍圖，而 DiT 則合成實際的音頻。這種獨特的設置允許對音樂生成過程進行精確控制，使使用者能夠創建從短循環到 10 分鐘作品的各種組成。該模型支援超過 1000 種樂器和風格，提供細緻的音色描述，以滿足多樣化的音樂偏好。

在實際應用中，ACE-Step v1.5 通過使用 LM 生成元數據、歌詞和字幕，透過鏈式思維來引導 DiT 合成音樂。這種內在的強化學習方法確保了對齊，而不受外部偏見的影響，從而生成緊密遵循使用者提示的音樂。使用者還可以透過輕量級 LoRA 訓練來個性化模型，僅需幾首歌曲即可捕捉他們獨特的風格。此功能對於希望創作出反映個人風格的藝術家特別有益。

ACE-Step v1.5 的優勢對於需要多功能和高品質音樂生成工具的音樂創作者來說最為顯著。它支援超過 50 種語言的多語言歌詞，允許全球範圍的創意表達。此外，該模型還提供各種編輯功能，如封面生成、重新繪製和人聲轉 BGM 轉換，增強了其在創意工作流程中的實用性。內容創作者、音樂製作人和藝術家可以將 ACE-Step v1.5 無縫整合到他們的專案中，從其速度、品質和靈活性中受益。

然而，也有一些權衡需要考慮。儘管 ACE-Step v1.5 高度高效，但其性能嚴重依賴於所使用的硬體。使用較弱 GPU 的使用者可能會經歷較慢的生成時間或模型大小的限制。該模型還需要至少 4GB 的 VRAM 才能本地運行，這對於某些使用者來說可能是一個限制。此外，生成的音樂品質，雖然令人印象深刻，但在某些情況下可能無法完全匹配人類創作的組成的細微差異。使用者應準備對輸出進行微調和調整，以更好地滿足他們的特定需求。

為了充分利用 ACE-Step v1.5，使用者應熟悉其各種功能和設置。該模型提供多種語言的廣泛文檔，包括 Gradio Web UI、Studio UI、VST3 插件、Python API、REST API 和 CLI 的指南。這些資源提供了詳細的說明，從基本的音樂生成到高級自訂和訓練，如何有效地使用該模型。透過探索這些工具，使用者可以釋放 ACE-Step v1.5 的全部潛力，創作出符合他們創意願景的音樂。

總之，ACE-Step v1.5 代表了開源音樂生成領域的重大進步，為創作者提供了一個強大且多功能的工具。其速度、品質和自訂選項的結合，使其成為任何希望提升音樂製作能力的人的寶貴資產。儘管存在一些硬體和品質方面的考慮，但對於大多數使用者來說，使用 ACE-Step v1.5 的好處遠遠超過了權衡。透過利用其先進的功能和廣泛的文檔，創作者可以產生高品質的音樂，反映他們獨特的風格和願景。

Source: https://github.com/ace-step/ACE-Step-1.5

daVinci‑MagiHuman 是一個 15B 參數、專注數字人（human‑centric）的文本到視頻生成模型，同時支援視頻與音頻 token 的聯合生成，主打「人類主體」表現力。daVinci‑MagiHuman 由 SII‑GAIR Lab（中國上海人工智慧實驗室 SII‑GAIR）與 Sand.ai 這兩方聯合開發

• 單流 Transformer — 一個統一的 150 億參數、40 層的 Transformer，僅透過自註意力機制即可聯合處理文字、視訊和音訊。無需交叉注意力，也無需多流處理。
• 🎭卓越的以人為本的品質— 富有表現力的面部表情、自然的語音表達協調、逼真的身體動作以及準確的音視頻同步。
• 🌍多語言— 支援中文（國語和粵語）、英語、日語、韓語、德語和法語。
• ⚡超快推理－在單一 H100 GPU 上，可在2 秒內產生 5 秒 256p 視頻，在38 秒內產生5 秒 1080p 影片。
• 🏆最先進的結果—在超過 2,000 次的成對人工評估中，與 Ovi 1.1 的勝率達到80.0% ，與 LTX 2.3 的勝率達到60.9% 。
• 📦完全開源— 我們發布完整的模型堆疊：基礎模型、精煉模型、超解析度模型和推理程式碼。