InferNews

Meta 開源 Muse Gadgets SDK：把 ESP32 與樹莓派變成 AI 配件

Share to X

Meta 把 Muse 的硬體擴充 SDK 放到 GitHub，讓你手邊的 ESP32 與 Linux 開發板直接接駁 AI 助理。從屏幕、音訊到感測器，開源玩法交給社群自己拼。

Muse gadgets: a Waveshare round AMOLED, an M5Stack StickS3, Muse Home Link, a Raspberry Pi and a Seeed reTerminal e-ink

想讓家裏的 ESP32 或樹莓派直接跟 AI 助理對話嗎？Meta 旗下 facebookincubator 開源的 Muse Gadgets SDK，正是針對這種「自製 AI 配件」場景而設的開發工具包。項目分為 ESP32 與 Linux 兩條主線，分別對應 MicroPython 級別的微控制器，以及樹莓派或一般 Linux 單板電腦，開發者可以按自己手邊的硬件選擇對應 SDK。

每塊板配對 Muse 應用前需要先在 gadgets.muse.ai 申請 SDK token，並開啟 App 內的 Developer mode，掃描「MuseGadget」前綴的裝置即可連線。ESP32 路線主打屏幕顯示、I/O 音訊與各類感測器，Linux 路線則偏向讓 Muse 處理 Home Assistant 自動化或系統管理指令，等於把語音助理變成 Home Lab 的遙控器。

項目定位屬於「工具＋框架」混合體，核心價值是降低自製硬件的門檻，但要求開發者有一定焊接與刷機經驗，因為 README 已經明言副作用包括「bricked boards」、保養失效甚至電壓跌落。相對於坊間封閉式智能家居配件，它勝在完全開源並允許自定義指令，但又需要自備 token 與相容硬件，部署成本不低。

硬件玩家、Home Assistant 玩家，以及想用 AI 助理串連感測器或自製機械按鈕的開發者，最容易從中受惠。每個子目錄都附上 README.md 與供 AI 編程助手如 Muse Code 使用的 AGENTS.md，社群則集中在 Discord 交流改機心得。

項目重點摘要

  • 支援 ESP32 與 Linux（樹莓派）兩條開發路線，各自獨立 SDK
  • 配對 Muse App 需先申請 SDK token 並開啟 Developer mode
  • 涵蓋顯示、音訊、感測器、Home Assistant 自動化等多種擴充方向
  • 程式以 Apache 2.0 開源，第三方組件如 minimp3 保留上游 CC0-1.0 許可
  • 社群交流集中在 Discord，文件內附 AGENTS.md 方便 AI 編程助手介入

項目主頁 · GitHub

Categories: 開源, Agentic, API, Audio, 框架, Discord, Linux, 編程, 語音, Meta

RealtimeWAM 讓世界動作模型走向即時生成

Share to X

LightX2V 的 RealtimeWAM 以單步生成降低延遲，嘗試保留多步模型的表現，讓機械人動作反應更接近即時。

Og image

機械人需要根據畫面快速產生下一個動作時，多步推理帶來的延遲會直接影響反應速度。LightX2V 的 RealtimeWAM 範例針對這個取捨，提供面向即時推理的 World Action Models (WAM) 方法，將動作生成壓縮至單步完成。

RealtimeWAM 建立在 Mixture-of-Transformers (MoT) 架構的 WAM 之上，主張在減少推理步驟的同時，盡量維持原有模型的準確度。項目 README 將它描述為首個單步 WAM，並指出相較多步版本，跨多個基準測試的平均準確度下降少於 1%。

項目列出的測試包括 RoboTwin 2.0 和 LIBERO，涵蓋機械人操作相關場景。這代表它較適合需要低延遲動作決策的研究者、機械人控制工作流，以及希望在既有 MoT-based WAM 架構上探索即時生成的開發者；不過，實際效果仍會受模型、硬件和測試任務影響。

  • 單步生成，降低多步推理造成的延遲
  • 兼容以 Mixture-of-Transformers 為基礎的 WAM 架構
  • README 聲稱平均準確度下降少於 1%
  • 提供 RoboTwin 2.0 和 LIBERO 等評估參考
  • 以 LightX2V 框架形式呈現即時 WAM 範例

項目主頁

Categories: 開源, Agentic, MCP, 模型, 世界模型, World-Action Model, Robotic, 框架, 安全, Skill 技能

InterMimicGen 讓一段示範變成多種機械人動作

Share to X

InterMimicGen 把人類互動示範轉化成不同人形機械人的動作，並透過實體執行持續擴充數據。

Og image

一段人類與物件互動的示範，經過 InterMimicGen 可以轉化成多種人形機械人的行走、抓取和操作動作。這個研究項目針對不同機械人身體結構難以直接套用同一動作的問題，連接動作重定向、追蹤、演化和實體部署流程。

系統結合 MimicGen 的動作擴展方式與 InterMimic 的物理落地能力，先把示範調整至不同物件和機械人配置，再由真實機械人執行。每次成功完成的動作都會成為新數據，支援下一輪生成，形成持續增長的數據循環。

• 跨物件重定向，例如行李箱和大型箱子
• 支援 Unitree G1、Dexmate Vega、Booster K1 等平台
• 涵蓋雙手操作、抓取及不同手部配置
• 透過多輪局部修改，逐步擴大動作範圍

研究展示了 Unitree G1 配合 Inspire hands、橡膠手，以及 Dex3 等組合的實體執行案例，也測試大型梳化、三腳架和球拍等不同物件。內容未有提供統一的量化性能指標，成果主要以跨平台動作轉移和連續實體執行作展示。

這個項目較適合研究人形機械人模仿學習、動作重定向和資料生成的團隊。它的價值在於減少每個機械人配置都要重新收集示範的需要，但動作是否成功仍取決於機械人的硬件、手部形態和現場環境。

項目主頁 · Paper

Categories: NVIDIA, Robotic

xllm-loop：循環語言模型

Share to X

xLLM-Loop 把同一組 Transformer 層重複運算，探索以較少參數和 KV cache 維持語言模型能力。以更少參數換取更大推理深度。

Repository image for ifm-ai/xllm-loop

想用較少模型參數和 KV cache，換取更深的計算能力，xLLM-Loop 提供了一條可直接研究的路線。它屬於開源語言模型訓練框架擴充，處理的是循環語言模型如何重用層、控制深度，以及評估固定點帶來的效率取捨。

LoopedTransformer 會重複執行指定層段，Huginn 則把模型分成 prelude、recurrent block 和 coda，並支援單一或階層式 recurrent state。Part II 進一步研究 fixed-point shortcuts、learned depth prior 和 orthogonal injection，目標是在增加 FLOPs 時維持近乎固定的記憶體需求；相關說法包括較標準 Transformer 少約三倍參數和 KV cache，但不能視為所有任務都能達成的保證。

項目已接入 xLLM，提供兩篇研究工作的 training、evaluation 和 checkpoint 程式碼，並有 49 個 Hugging Face checkpoints。Part I 涵蓋 Dense 和 MoE 共 17 種 recipes、25 個 checkpoints；Part II 涵蓋 depth priors、input-injection variants 和 distilled prefill，共 24 個 checkpoints。

  • 適合研究循環架構、固定點推理和參數效率的模型團隊
  • 可比較固定、抽樣及 learned depth 的訓練方式
  • 支援 LoopedTransformer、Huginn 和 DepthControlledHuginn
  • 需要 PyTorch 2.11、CUDA 12.8、Python 3.12，實驗曾使用 NVIDIA H200

安裝方式沿用 xLLM，但硬件和軟件版本要求偏新，訓練成本亦不低，論文實驗是在 NVIDIA H200 上完成。對想在本地直接使用成熟聊天模型的人，它不是即裝即用的產品；對需要重現研究、載入 checkpoints 或改造訓練流程的團隊，程式碼、評估及 checkpoint 配套就更有價值。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 模型訓練, NVIDIA, 框架, Python

Prism 令 2K 影音生成訓練加速 2.5 倍

Share to X

Prism 將影片畫面與聲音互動納入稀疏注意力，令原生 2K 影音生成模型訓練更快，並兼顧生成質素。

model architecture

高解像度影音生成最難處理的地方，是畫面 token 大增後，Full Attention 需要付出平方級計算成本，聲音與畫面之間的有效互動亦容易被大量冗餘資訊沖淡。Prism 屬於 Dynamic Sparse Attention 框架，專門處理原生 2K Joint Video-Audio Generation Model Training，目標是減少訓練成本而不犧牲影音同步與細節。

Prism 將影片 token 按時空位置整理成 macro-zones，再利用影片特徵的 channel variance，以及 audio-to-video cross-attention 的 feature norm，判斷每個區域的畫面變化和聲音影響程度。變化較快或影音耦合較強的位置會採用更細的 block 分割，並透過 hybrid block selection 為不同 query 動態決定稀疏範圍，令每個 block 保留較一致的語義內容。

[Fudan&Tencent Hunyuan] Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Training

同 Full Attention 相比，Prism 不再對所有 token 進行密集互相關注；同時，它亦不是單純套用只為推理加速而設的稀疏注意力。這個取捨針對聯合影音資料的結構作出調整，代價是訓練流程需要額外計算區域資訊和動態選擇，實作複雜度會高於標準注意力。

項目提供 Project Page、Hugging Face 模型和示範影片，可先透過合成結果、模型比較、消融研究及解析度擴展示範理解效果。提供的資料未列出完整本地安裝指令或硬件要求，因此暫時較適合研究團隊按論文與模型資源自行整理環境，而不是即時套用到一般影音工具。

  • 訓練速度較 Full Attention 提升 2.5 倍
  • 生成質素據報超越 Full Attention
  • 同時考慮視覺變化與 audio-visual coupling
  • 面向原生 2K 影音生成模型訓練

Prism 對需要訓練高解像度文字轉影片及同步聲音模型的研究團隊較有價值，尤其適合計算資源昂貴、影音互動集中於局部區域的工作。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, AI productions, 模型, 多模態模型, 模型訓練, Google, NVIDIA, Video, Audio, 框架, 工具, 語音

Kandinsky 6.0 把同步聲畫生成帶入開源模型

Share to X

Kandinsky 6.0 可由文字或圖片生成帶同步音效、口形的短片，並提供 3B 與 29B 兩款模型。

promo

由文字或圖片輸入，到畫面、音效和口形同步輸出的流程，Kandinsky 6.0 將短片生成由單純影像延伸至完整 audio-video 內容。這個項目屬於開源多模態視頻模型，實際處理的是聲音與畫面難以同步、創作者需要分開製作素材的問題。

Kandinsky 6.0 Video Lite 有 3B 參數，Kandinsky 6.0 Video Pro 則有 29B 參數，兩者都能生成 5 秒片段、44 kHz 音訊及 lip-sync，支援 text-to-audio-video（T2AV）和 image-to-audio-video（TI2AV）。額外的 super-resolution 模型可把輸出提升至 Full-HD 1920×1080，但這並不代表原生生成階段已經以 Full-HD 運作。

• 同一生成流程處理視頻、音效和口形同步
• Lite 較適合資源有限的測試，Pro 追求更高生成能力
• 支援文字生成及圖片延伸兩種模式
• 可透過 Hugging Face Space、Diffusers、ComfyUI 或 vLLM-omni 接入

測試需要 NVIDIA GPU，以及 Python 3.13 或 3.14；首次執行會下載 Kandinsky-6.0-Pro-distill-5s 權重，輸出會寫入項目指定的 MP4 路徑。對不想自行配置環境的創作者，Hugging Face Space 是較直接的試用入口；需要納入工作流的團隊則可考慮 Diffusers 或 ComfyUI。

在非精簡版顯示卡上處理 5 秒影片片段的工作時間（秒）。不包括負載載入和 MP4 編碼時間。 RTX PRO 6000 (96 GB)、A100 80 GB 和 H100 80 GB 使用模組卸載。消費級顯示卡使用區塊卸載。 RTX 4090、RTX 5060 Ti、RTX 5080、RTX 5090、RTX PRO 6000 和 A100 80 GB 使用 SageAttention2++ 進行視覺自註意力控制。 H100 使用 FlashAttention 3。

RTX 4090RTX 5060 TiRTX 5080RTX 5090RTX PRO 6000A100 80 GBH100
Lite SD4371310577309242532239
Lite HD4221328579296274472203
Lite Full HD5781774770406387664284
Pro SD93630801336754621972356
Pro HD119427161189638561791292
Pro Full HD1247353015468547651106402

Kandinsky 6.0 適合製作概念片、角色對白及需要同步聲畫的短內容，但 5 秒時長、NVIDIA GPU 依賴，以及高解像度要靠額外模型處理，仍限制了它作為長片生產工具的角色。

項目主頁 · GitHub · 模型

Categories: 開源, ComfyUI, 模型, 多模態模型, 視頻模型, NVIDIA, Video, Image, 影像處理, Audio, 工具, Content Creator, Python, Dataset 數據集

CANOPY 讓多模態 RAG 按證據壓縮上下文

Share to X

CANOPY 會在文字、表格及影片內逐區域保留證據，減少干擾內容，同時避免剪走理解所需的上下文。

Og image

面對一段很長的文章、一張表格或一段影片，問題通常只需要其中一小部分證據，但過度保留會浪費讀者的上下文，剪得太細又可能失去理解線索。CANOPY（Canonical Projection over Hierarchy）是 POSTECH 提出的多模態 RAG 後檢索證據壓縮框架，按項目內不同區域決定保留範圍。

CANOPY 會把每個檢索項目整理成層級結構，再以經 gold evidence 微調的 node encoder，按照查詢評分不同區域。系統會比較子區域與父區域的相關程度，保留句子、表格列、關聯文字或影片片段等合適粒度，而非為整個項目套用單一截取規則。

保留的證據不足以回答問題時，critic 會要求針對性追加檢索；新找回的項目同樣先經壓縮，再加入讀者輸入，減少無關內容反覆累積。這個設計亦處理了壓縮本身無法補回「從未檢索到的證據」這項限制。

  • 在五個 QA benchmark、包含 3,300 萬個異質項目的語料庫上，平均答案準確率高於參與比較的檢索基線。
  • 消融結果顯示，多跳問答的準確率提升主要來自追加檢索。
  • 在未經路由的 Qwen3-VL-8B-Instruct 讀者設定中，證據 token 輸入量減少 14.2% 至 27.7%。
  • 壓縮後答案準確率保持相若，適合需要同時處理文字、表格及影片的 RAG 工作流。

CANOPY 的價值不在於單純縮短檢索結果，而在於讓每個項目內的保留範圍跟隨證據位置及上下文需要變化。它仍受初始檢索品質限制，但對多跳查詢和長內容閱讀，可在保留可解釋線索的同時降低 reader 的輸入負擔。

項目主頁

Categories: AI productions, RAG, 多模態模型, Qwen, Video, 框架, 庫, Dataset 數據集

VeriHarness 長流程 AI 任務的修訂

Share to X

長時間 AI 任務不再只靠一次輸出或投票，VeriHarness 讓模型查證分歧與共識，再交付有證據支援的成果。結果同一模型也能做驗證！

VeriHarness

長時間 AI 任務容易在細節中累積錯誤，單靠一次 rollout 或多數票未必能找出共同誤判。VeriHarness 是一個面向 long-horizon general agents 的 verification harness，讓產生答案的同一個模型檢查環境證據、修訂成果，並記錄每項改動的原因。

它會把 N 次獨立 rollout 交給兩條調查流程：disagreement resolver 核對不同嘗試提出的主張，consensus challenger 則專門反查所有嘗試都同意的內容。兩邊取得文件、資料或可重新計算數值後，再由 adjudication 選取或重建 artifact，處理了「分歧不等於錯誤、共識也可能共同出錯」的取捨。

透過 Gemini on Vertex AI 或 Claude on Vertex AI 執行驗證；wb 與 wsb 評分器則在網絡容器中處理文件、試算表、程式碼及多檔案工作區任務。項目同時公開約 26,000 次 rollout，方便研究團隊重現流程或比較自己的 verifier。

結果顯示，Gemini 3.5 Flash 作為 generator 和 verifier 時，證據支援的修訂比單次 rollout 平均高 6.2 分；Claude Opus 4.8 則高 6.4 分，五個 benchmark 的十個 model–benchmark settings 均取得最高 primary selection score。這些數字反映選擇與修訂能力，不能直接等同完整 artifact 必然正確。

  • 適合長流程工作：文件、試算表、程式碼及多檔案任務均可納入檢查。
  • 核心差異：同一模型負責產生與驗證，優勢來自 rollout pool 結構及環境證據，而非更強的 judge。
  • 研究價值：分開測試 disagreement 與 consensus，能定位模型反覆犯下的共同錯誤。
  • 使用限制：需要模型服務、評分容器及可檢查的任務環境，配置成本高於單次生成。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, Google, Gemini, Anthropic, Dataset 數據集

Spatial Memory Intelligence：讓世界模型記住空間關係

Share to X

長影片生成愈往後，舊畫面愈難整理，也容易出現空間前後不一致。SMI 以理解能力管理長期空間記憶，現時仍未公開程式碼與模型權重。

SMI overview: organizing spatial memory, retrieving relevant observations, and improving consistency and stability.

長影片生成要延續物件位置與場景結構，不能只靠不斷累積舊觀察；記憶太多會帶來冗餘，也可能把不可靠內容帶進後續生成。Spatial Memory Intelligence（SMI）是為世界模型設計的空間記憶管理方法，目標是改善記憶精簡度、空間一致性與生成穩定性。

SMI 以具語義與空間理解能力的多模態大型語言模型（MLLM）協調四項操作：把相關觀察分組、刪除群組內冗餘內容、按近期脈絡及下一步動作取回記憶，並過濾不可靠的生成觀察。它不只整理記憶，也會在生成過程中更新及提取資料，適合研究長時間影片生成與世界模型記憶管理的團隊。

項目網站提供 HY1.5 與 Wan2.2 的同步影片比較，主要對照 SMI 與 Base；部分案例亦列出 FramePack、Deep Forcing、MoC、VMem 及 MemFlow。紅框標示部分空間或結構不一致之處，方便檢視案例，但目前沒有公開可供核對的量化指標，不能單靠示範影片判斷改善幅度。

  • 記憶管理涵蓋分組、精簡、檢索與可靠性過濾。
  • 檢索會考慮近期上下文及下一個使用者動作。
  • 網站可觀看 HY1.5、Wan2.2 的影片比較。
  • 訓練、推理及評估程式碼、資料集與模型權重仍在準備發布。

目前 GitHub 儲存庫主要提供項目介紹與示意圖，尚未能據此安裝或自行重現結果。研究人員可以先查看網站示範及論文，待程式碼、資料集和權重公開後，再測試它能否在不同世界模型與長片段生成任務中維持空間一致性。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 南京大學, 阿里巴巴, AI productions, 模型, 多模態模型, 世界模型, 模型訓練, Video, 香港, 庫, Dataset 數據集

NAVA-WAM 讓機械人從影片學會直接行動

Share to X

NAVA-WAM 從無動作標註影片學習機械人策略，減少視覺表徵與潛在動作之間的轉換限制。

Overview of NAVA-WAM: action-free pre-training and downstream post-training.

機械人只看過人類操作影片，未必需要先建立中間視覺表徵或獨立的潛在動作模型，便能學習下一步應怎樣移動。NAVA-WAM（Native Action-Prior Learning from Videos for World Action Models）是一個 World Action Models（WAM）項目，直接從 observation-only videos 預訓練 action policy，處理動作標註機械人軌跡不足的問題。

訓練分為兩個階段：第一階段利用影片中的未來視覺變化作 flow-matching supervision，透過 transition-structured joint attention 將與動作相關的資訊傳入 Action-DiT；第二階段再加入動作資料，讓策略對應到機械人控制。這種做法避開先學視覺、再轉換成控制訊號時可能出現的落差。

實驗把經 DROID 訓練的策略直接放到實體 Franka FR3，沒有針對個別任務再微調。在三項任務共 15 次測試中，NAVA-WAM 平均成功率為 93.3%，DreamZero 為 66.7%，π0.5 為 53.3%；伺服器端每次 policy call 為 379.2 毫秒，按每次重新規劃實際執行的動作數計算，每個動作約 15.8 毫秒。

• 從 observation-only videos 直接學習 action policy
• 不依賴中間視覺表徵或獨立 latent-action model
• 在空間關係任務中，NAVA-WAM 成功 4/5 次，兩個基線均為 0/5
• 已在實體 Franka FR3 上測試，未作任務專屬微調

T1 要求把方塊放到碗的左側，基線模型雖能正確定位和抓取方塊，卻未能理解指令中的空間關係；NAVA-WAM 則較能將視覺互動經驗連接到具體控制行動。項目的限制是訓練仍需要第二階段的動作資料，並非完全脫離機械人示範，因此更適合用作擴充動作先驗，而不是取代所有實體機械人資料。

項目主頁

Categories: AI productions, 模型, 模型訓練, Video, World-Action Model, Robotic, Meta
Page 1 of 165
1 2 3 … 165