InferNews

InterMimicGen 讓一段示範變成多種機械人動作

Share to X

InterMimicGen 把人類互動示範轉化成不同人形機械人的動作，並透過實體執行持續擴充數據。

Og image

一段人類與物件互動的示範，經過 InterMimicGen 可以轉化成多種人形機械人的行走、抓取和操作動作。這個研究項目針對不同機械人身體結構難以直接套用同一動作的問題，連接動作重定向、追蹤、演化和實體部署流程。

系統結合 MimicGen 的動作擴展方式與 InterMimic 的物理落地能力，先把示範調整至不同物件和機械人配置，再由真實機械人執行。每次成功完成的動作都會成為新數據，支援下一輪生成，形成持續增長的數據循環。

• 跨物件重定向，例如行李箱和大型箱子
• 支援 Unitree G1、Dexmate Vega、Booster K1 等平台
• 涵蓋雙手操作、抓取及不同手部配置
• 透過多輪局部修改，逐步擴大動作範圍

研究展示了 Unitree G1 配合 Inspire hands、橡膠手，以及 Dex3 等組合的實體執行案例，也測試大型梳化、三腳架和球拍等不同物件。內容未有提供統一的量化性能指標，成果主要以跨平台動作轉移和連續實體執行作展示。

這個項目較適合研究人形機械人模仿學習、動作重定向和資料生成的團隊。它的價值在於減少每個機械人配置都要重新收集示範的需要，但動作是否成功仍取決於機械人的硬件、手部形態和現場環境。

項目主頁 · Paper

Categories: NVIDIA, Robotic

xllm-loop：循環語言模型

Share to X

xLLM-Loop 把同一組 Transformer 層重複運算，探索以較少參數和 KV cache 維持語言模型能力。以更少參數換取更大推理深度。

Repository image for ifm-ai/xllm-loop

想用較少模型參數和 KV cache，換取更深的計算能力，xLLM-Loop 提供了一條可直接研究的路線。它屬於開源語言模型訓練框架擴充，處理的是循環語言模型如何重用層、控制深度，以及評估固定點帶來的效率取捨。

LoopedTransformer 會重複執行指定層段，Huginn 則把模型分成 prelude、recurrent block 和 coda，並支援單一或階層式 recurrent state。Part II 進一步研究 fixed-point shortcuts、learned depth prior 和 orthogonal injection，目標是在增加 FLOPs 時維持近乎固定的記憶體需求；相關說法包括較標準 Transformer 少約三倍參數和 KV cache，但不能視為所有任務都能達成的保證。

項目已接入 xLLM，提供兩篇研究工作的 training、evaluation 和 checkpoint 程式碼，並有 49 個 Hugging Face checkpoints。Part I 涵蓋 Dense 和 MoE 共 17 種 recipes、25 個 checkpoints；Part II 涵蓋 depth priors、input-injection variants 和 distilled prefill，共 24 個 checkpoints。

  • 適合研究循環架構、固定點推理和參數效率的模型團隊
  • 可比較固定、抽樣及 learned depth 的訓練方式
  • 支援 LoopedTransformer、Huginn 和 DepthControlledHuginn
  • 需要 PyTorch 2.11、CUDA 12.8、Python 3.12，實驗曾使用 NVIDIA H200

安裝方式沿用 xLLM，但硬件和軟件版本要求偏新，訓練成本亦不低，論文實驗是在 NVIDIA H200 上完成。對想在本地直接使用成熟聊天模型的人，它不是即裝即用的產品；對需要重現研究、載入 checkpoints 或改造訓練流程的團隊，程式碼、評估及 checkpoint 配套就更有價值。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 模型訓練, NVIDIA, 框架, Python

Prism 令 2K 影音生成訓練加速 2.5 倍

Share to X

Prism 將影片畫面與聲音互動納入稀疏注意力，令原生 2K 影音生成模型訓練更快，並兼顧生成質素。

model architecture

高解像度影音生成最難處理的地方，是畫面 token 大增後，Full Attention 需要付出平方級計算成本，聲音與畫面之間的有效互動亦容易被大量冗餘資訊沖淡。Prism 屬於 Dynamic Sparse Attention 框架，專門處理原生 2K Joint Video-Audio Generation Model Training，目標是減少訓練成本而不犧牲影音同步與細節。

Prism 將影片 token 按時空位置整理成 macro-zones，再利用影片特徵的 channel variance，以及 audio-to-video cross-attention 的 feature norm，判斷每個區域的畫面變化和聲音影響程度。變化較快或影音耦合較強的位置會採用更細的 block 分割，並透過 hybrid block selection 為不同 query 動態決定稀疏範圍，令每個 block 保留較一致的語義內容。

[Fudan&Tencent Hunyuan] Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Training

同 Full Attention 相比，Prism 不再對所有 token 進行密集互相關注；同時，它亦不是單純套用只為推理加速而設的稀疏注意力。這個取捨針對聯合影音資料的結構作出調整，代價是訓練流程需要額外計算區域資訊和動態選擇，實作複雜度會高於標準注意力。

項目提供 Project Page、Hugging Face 模型和示範影片，可先透過合成結果、模型比較、消融研究及解析度擴展示範理解效果。提供的資料未列出完整本地安裝指令或硬件要求，因此暫時較適合研究團隊按論文與模型資源自行整理環境，而不是即時套用到一般影音工具。

  • 訓練速度較 Full Attention 提升 2.5 倍
  • 生成質素據報超越 Full Attention
  • 同時考慮視覺變化與 audio-visual coupling
  • 面向原生 2K 影音生成模型訓練

Prism 對需要訓練高解像度文字轉影片及同步聲音模型的研究團隊較有價值，尤其適合計算資源昂貴、影音互動集中於局部區域的工作。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, AI productions, 模型, 多模態模型, 模型訓練, Google, NVIDIA, Video, Audio, 框架, 工具, 語音

Kandinsky 6.0 把同步聲畫生成帶入開源模型

Share to X

Kandinsky 6.0 可由文字或圖片生成帶同步音效、口形的短片，並提供 3B 與 29B 兩款模型。

promo

由文字或圖片輸入，到畫面、音效和口形同步輸出的流程，Kandinsky 6.0 將短片生成由單純影像延伸至完整 audio-video 內容。這個項目屬於開源多模態視頻模型，實際處理的是聲音與畫面難以同步、創作者需要分開製作素材的問題。

Kandinsky 6.0 Video Lite 有 3B 參數，Kandinsky 6.0 Video Pro 則有 29B 參數，兩者都能生成 5 秒片段、44 kHz 音訊及 lip-sync，支援 text-to-audio-video（T2AV）和 image-to-audio-video（TI2AV）。額外的 super-resolution 模型可把輸出提升至 Full-HD 1920×1080，但這並不代表原生生成階段已經以 Full-HD 運作。

• 同一生成流程處理視頻、音效和口形同步
• Lite 較適合資源有限的測試，Pro 追求更高生成能力
• 支援文字生成及圖片延伸兩種模式
• 可透過 Hugging Face Space、Diffusers、ComfyUI 或 vLLM-omni 接入

測試需要 NVIDIA GPU，以及 Python 3.13 或 3.14；首次執行會下載 Kandinsky-6.0-Pro-distill-5s 權重，輸出會寫入項目指定的 MP4 路徑。對不想自行配置環境的創作者，Hugging Face Space 是較直接的試用入口；需要納入工作流的團隊則可考慮 Diffusers 或 ComfyUI。

在非精簡版顯示卡上處理 5 秒影片片段的工作時間（秒）。不包括負載載入和 MP4 編碼時間。 RTX PRO 6000 (96 GB)、A100 80 GB 和 H100 80 GB 使用模組卸載。消費級顯示卡使用區塊卸載。 RTX 4090、RTX 5060 Ti、RTX 5080、RTX 5090、RTX PRO 6000 和 A100 80 GB 使用 SageAttention2++ 進行視覺自註意力控制。 H100 使用 FlashAttention 3。

RTX 4090RTX 5060 TiRTX 5080RTX 5090RTX PRO 6000A100 80 GBH100
Lite SD4371310577309242532239
Lite HD4221328579296274472203
Lite Full HD5781774770406387664284
Pro SD93630801336754621972356
Pro HD119427161189638561791292
Pro Full HD1247353015468547651106402

Kandinsky 6.0 適合製作概念片、角色對白及需要同步聲畫的短內容，但 5 秒時長、NVIDIA GPU 依賴，以及高解像度要靠額外模型處理，仍限制了它作為長片生產工具的角色。

項目主頁 · GitHub · 模型

Categories: 開源, ComfyUI, 模型, 多模態模型, 視頻模型, NVIDIA, Video, Image, 影像處理, Audio, 工具, Content Creator, Python, Dataset 數據集

CANOPY 讓多模態 RAG 按證據壓縮上下文

Share to X

CANOPY 會在文字、表格及影片內逐區域保留證據，減少干擾內容，同時避免剪走理解所需的上下文。

Og image

面對一段很長的文章、一張表格或一段影片，問題通常只需要其中一小部分證據，但過度保留會浪費讀者的上下文，剪得太細又可能失去理解線索。CANOPY（Canonical Projection over Hierarchy）是 POSTECH 提出的多模態 RAG 後檢索證據壓縮框架，按項目內不同區域決定保留範圍。

CANOPY 會把每個檢索項目整理成層級結構，再以經 gold evidence 微調的 node encoder，按照查詢評分不同區域。系統會比較子區域與父區域的相關程度，保留句子、表格列、關聯文字或影片片段等合適粒度，而非為整個項目套用單一截取規則。

保留的證據不足以回答問題時，critic 會要求針對性追加檢索；新找回的項目同樣先經壓縮，再加入讀者輸入，減少無關內容反覆累積。這個設計亦處理了壓縮本身無法補回「從未檢索到的證據」這項限制。

  • 在五個 QA benchmark、包含 3,300 萬個異質項目的語料庫上，平均答案準確率高於參與比較的檢索基線。
  • 消融結果顯示，多跳問答的準確率提升主要來自追加檢索。
  • 在未經路由的 Qwen3-VL-8B-Instruct 讀者設定中，證據 token 輸入量減少 14.2% 至 27.7%。
  • 壓縮後答案準確率保持相若，適合需要同時處理文字、表格及影片的 RAG 工作流。

CANOPY 的價值不在於單純縮短檢索結果，而在於讓每個項目內的保留範圍跟隨證據位置及上下文需要變化。它仍受初始檢索品質限制，但對多跳查詢和長內容閱讀，可在保留可解釋線索的同時降低 reader 的輸入負擔。

項目主頁

Categories: AI productions, RAG, 多模態模型, Qwen, Video, 框架, 庫, Dataset 數據集

VeriHarness 長流程 AI 任務的修訂

Share to X

長時間 AI 任務不再只靠一次輸出或投票，VeriHarness 讓模型查證分歧與共識，再交付有證據支援的成果。結果同一模型也能做驗證！

VeriHarness

長時間 AI 任務容易在細節中累積錯誤，單靠一次 rollout 或多數票未必能找出共同誤判。VeriHarness 是一個面向 long-horizon general agents 的 verification harness，讓產生答案的同一個模型檢查環境證據、修訂成果，並記錄每項改動的原因。

它會把 N 次獨立 rollout 交給兩條調查流程：disagreement resolver 核對不同嘗試提出的主張，consensus challenger 則專門反查所有嘗試都同意的內容。兩邊取得文件、資料或可重新計算數值後，再由 adjudication 選取或重建 artifact，處理了「分歧不等於錯誤、共識也可能共同出錯」的取捨。

透過 Gemini on Vertex AI 或 Claude on Vertex AI 執行驗證；wb 與 wsb 評分器則在網絡容器中處理文件、試算表、程式碼及多檔案工作區任務。項目同時公開約 26,000 次 rollout，方便研究團隊重現流程或比較自己的 verifier。

結果顯示，Gemini 3.5 Flash 作為 generator 和 verifier 時，證據支援的修訂比單次 rollout 平均高 6.2 分；Claude Opus 4.8 則高 6.4 分，五個 benchmark 的十個 model–benchmark settings 均取得最高 primary selection score。這些數字反映選擇與修訂能力，不能直接等同完整 artifact 必然正確。

  • 適合長流程工作：文件、試算表、程式碼及多檔案任務均可納入檢查。
  • 核心差異：同一模型負責產生與驗證，優勢來自 rollout pool 結構及環境證據，而非更強的 judge。
  • 研究價值：分開測試 disagreement 與 consensus，能定位模型反覆犯下的共同錯誤。
  • 使用限制：需要模型服務、評分容器及可檢查的任務環境，配置成本高於單次生成。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, Google, Gemini, Anthropic, Dataset 數據集

Spatial Memory Intelligence：讓世界模型記住空間關係

Share to X

長影片生成愈往後，舊畫面愈難整理，也容易出現空間前後不一致。SMI 以理解能力管理長期空間記憶，現時仍未公開程式碼與模型權重。

SMI overview: organizing spatial memory, retrieving relevant observations, and improving consistency and stability.

長影片生成要延續物件位置與場景結構，不能只靠不斷累積舊觀察；記憶太多會帶來冗餘，也可能把不可靠內容帶進後續生成。Spatial Memory Intelligence（SMI）是為世界模型設計的空間記憶管理方法，目標是改善記憶精簡度、空間一致性與生成穩定性。

SMI 以具語義與空間理解能力的多模態大型語言模型（MLLM）協調四項操作：把相關觀察分組、刪除群組內冗餘內容、按近期脈絡及下一步動作取回記憶，並過濾不可靠的生成觀察。它不只整理記憶，也會在生成過程中更新及提取資料，適合研究長時間影片生成與世界模型記憶管理的團隊。

項目網站提供 HY1.5 與 Wan2.2 的同步影片比較，主要對照 SMI 與 Base；部分案例亦列出 FramePack、Deep Forcing、MoC、VMem 及 MemFlow。紅框標示部分空間或結構不一致之處，方便檢視案例，但目前沒有公開可供核對的量化指標，不能單靠示範影片判斷改善幅度。

  • 記憶管理涵蓋分組、精簡、檢索與可靠性過濾。
  • 檢索會考慮近期上下文及下一個使用者動作。
  • 網站可觀看 HY1.5、Wan2.2 的影片比較。
  • 訓練、推理及評估程式碼、資料集與模型權重仍在準備發布。

目前 GitHub 儲存庫主要提供項目介紹與示意圖，尚未能據此安裝或自行重現結果。研究人員可以先查看網站示範及論文，待程式碼、資料集和權重公開後，再測試它能否在不同世界模型與長片段生成任務中維持空間一致性。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 南京大學, 阿里巴巴, AI productions, 模型, 多模態模型, 世界模型, 模型訓練, Video, 香港, 庫, Dataset 數據集

NAVA-WAM 讓機械人從影片學會直接行動

Share to X

NAVA-WAM 從無動作標註影片學習機械人策略，減少視覺表徵與潛在動作之間的轉換限制。

Overview of NAVA-WAM: action-free pre-training and downstream post-training.

機械人只看過人類操作影片，未必需要先建立中間視覺表徵或獨立的潛在動作模型，便能學習下一步應怎樣移動。NAVA-WAM（Native Action-Prior Learning from Videos for World Action Models）是一個 World Action Models（WAM）項目，直接從 observation-only videos 預訓練 action policy，處理動作標註機械人軌跡不足的問題。

訓練分為兩個階段：第一階段利用影片中的未來視覺變化作 flow-matching supervision，透過 transition-structured joint attention 將與動作相關的資訊傳入 Action-DiT；第二階段再加入動作資料，讓策略對應到機械人控制。這種做法避開先學視覺、再轉換成控制訊號時可能出現的落差。

實驗把經 DROID 訓練的策略直接放到實體 Franka FR3，沒有針對個別任務再微調。在三項任務共 15 次測試中，NAVA-WAM 平均成功率為 93.3%，DreamZero 為 66.7%，π0.5 為 53.3%；伺服器端每次 policy call 為 379.2 毫秒，按每次重新規劃實際執行的動作數計算，每個動作約 15.8 毫秒。

• 從 observation-only videos 直接學習 action policy
• 不依賴中間視覺表徵或獨立 latent-action model
• 在空間關係任務中，NAVA-WAM 成功 4/5 次，兩個基線均為 0/5
• 已在實體 Franka FR3 上測試，未作任務專屬微調

T1 要求把方塊放到碗的左側，基線模型雖能正確定位和抓取方塊，卻未能理解指令中的空間關係；NAVA-WAM 則較能將視覺互動經驗連接到具體控制行動。項目的限制是訓練仍需要第二階段的動作資料，並非完全脫離機械人示範，因此更適合用作擴充動作先驗，而不是取代所有實體機械人資料。

項目主頁

Categories: AI productions, 模型, 模型訓練, Video, World-Action Model, Robotic, Meta

ProAR 讓影片模型先想目標再生成

Share to X

ProAR 把自回歸影片生成變成視覺推理流程，兼顧最終目標與中間步驟的合理性。

ProAR overview

當影片模型只按過去畫面逐步預測，畫面即使局部合理，也未必能完成指定任務。ProAR 屬於自回歸影片模型項目，透過 prospective reasoning 預測未來視覺狀態，處理長程目標與中間轉換容易失控的問題。

ProAR 以 Wan2.2-TI2V-5B 作為共享 backbone，加入兩條互補機制：outcome guidance 會一同預測未來 goal frame，讓目前 chunk 參考目標信念；transition guidance 則在訓練期間利用 predictor，令目前 hidden states 對齊乾淨的 next-chunk representation。前者偏向長距離規劃，後者補足短距離的狀態銜接。

• Outcome guidance 幫助生成結果符合任務目標
• Transition guidance 鼓勵中間步驟遵守時間及物理邏輯
• 推理時不需要真實未來畫面，訓練用 predictor 會移除
• 項目提供模型 checkpoint、ProAR-test 數據集及 VBVR-10Tasks 實驗配置

要測試項目，需要 Python 3.10、PyTorch 2.8.0，並把 Wan2.2-TI2V-5B 權重、VAE、T5 編碼器及 tokenizer 放到指定本地路徑；flash-attn 屬於可選的加速元件。這套流程較適合研究視覺推理、物理推演及 embodied intelligence 的團隊，未必是即裝即用的影片創作工具。

提供的資料確認了 AR 與 ProAR checkpoint，以及 VBVR-10Tasks 和測試數據集，但未列出足夠的數值結果，難以單憑儲存庫內容判斷提升幅度。推理時間會增加，換來模型在生成前預測目標及未來轉換；取捨是否合理，要視乎任務是否重視步驟有效性多於生成速度。

項目主頁 · GitHub · 模型

Categories: 開源, 香港理工大學, AI productions, 模型, 模型訓練, 微軟, Video, 香港, 工具, Python, 庫, Dataset 數據集, Tokenize

HelixWorld 即時生成互動視聽世界

Share to X

輸入一張圖片和提示詞，再用方向指令探索場景，HelixWorld 會同步更新畫面與空間聲音。預覽版已提供瀏覽器示範及離線推理程式碼，但硬件門檻不低。

HelixWorld — Sound and vision, born together

轉身時，聲音方向也會跟着視角改變，這是 HelixWorld 與一般先生成畫面、再配上音軌的做法不同之處。它是 Noiz AI 開發的即時互動視聽世界模型，讓使用者從一張圖片和提示詞出發，以方向指令在生成場景中移動，並同步產生影像與聲音。

瀏覽器示範適合先感受互動效果；想離線測試，則可使用已公開的 Preview v1 推理程式碼和預覽模型。它目前支援 Linux、Python 3.11 和 CUDA 12.x，建議使用配備 80 GB VRAM 的 NVIDIA GPU；BF16 單卡測試約需 70 GB VRAM，對個人電腦使用者而言是明顯門檻。

操作時可輸入前進、轉向或停止等動作，並設定第一人稱視角及生成影格數；提示詞亦可分別描述影片、音訊或視聽內容。輸出會整理成 MP4，適合研究人員、互動內容創作者及想探索空間音效生成的團隊測試，但目前公開資訊未提供性能評測數據，亦未公開完整模型與訓練資料。

  • 畫面和聲音會隨鏡頭移動同步更新，空間聲場跟隨視點改變。
  • 可先用瀏覽器示範體驗，也可在符合硬件條件的 Linux 系統離線推理。
  • 預覽版已開放，完整模型、訓練資訊及報告仍待公開。

HelixWorld 展示了視聽生成從固定片段走向可操控場景的一種做法；不過，現階段的高顯示記憶體需求和有限評測資訊，令它較適合研究與原型測試。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 多模態模型, 世界模型, 模型訓練, NVIDIA, Video, Image, Audio, 提示詞, Content Creator, Linux, Python
Page 1 of 164
1 2 3 … 164