InferNews

Meta Muse Glimmer：為本地多模態代理而生

Share to X Facebook

Muse Glimmer 30B 針對本地部署而設，把圖文理解和代理式操作放在同一個模型裡。它同時提供 BF16、GGUF 與 ExecuTorch 版本，方便不同裝置取用。

Meta

Muse Glimmer 30B 屬於多模態 agentic model，重點放在本地部署時的可用性。對需要在自己裝置上處理圖文輸入、又想保留代理式工作流的用戶來說，這種設計比只提供單一格式的模型更實用，因為可以按硬件環境選擇合適版本。

Meta 這次一口氣放出多種包裝，包括 BF16 權重、GGUF k-quants、ExecuTorch builds，還有一個較細的 assistant 版本。這代表它不是只面向單一推理環境，而是嘗試覆蓋桌面、本地推理引擎，以及流動裝置部署等不同需求。

從現有資訊看，Muse Glimmer 的核心價值在於把多模態能力和本地執行的彈性結合起來。GGUF 版本方便在本地執行推理，ExecuTorch 版本則指向更輕量的裝置端部署；對想控制資料流向、減少依賴雲端服務的工作流，會更有吸引力。

  • 支援多模態輸入，適合圖文混合任務
  • 針對 local deployment 設計，部署選擇較多
  • 提供 BF16、GGUF k-quants、ExecuTorch 等不同格式
  • 有 30B 主模型與較小的 3B assistant 版本
  • 適合需要本地推理、裝置端或代理式工作流的場景

現時公開資料較集中在模型包裝與部署形式。就定位而言，它更像是一個面向實用部署的多模態模型系列，而不是只靠單一規格吸引注意的發佈。

項目主頁 · 模型

Categories: 開源, Agentic, 模型, 視覺模型, 多模態模型, API, Image, LLaMa, 安全, Meta

MiniMax H3 Turbo：4 步加速的影音生成 LoRA

Share to X Facebook

MiniMax H3 的 ComfyUI 加速 LoRA，把 10 秒影片生成壓到固定 4 步。它適合要在速度、畫質和可控性之間取平衡的 T2V 與 I2V 工作流。

Og image

MiniMax H3 Turbo 走的是 ComfyUI 用途的加速路線，核心價值在於把 MiniMax H3 的文本生成影片（Text-to-Video, T2V）和圖像轉影片（Image-to-Video, I2V）流程固定到 4-step Euler 推理。它不是獨立模型，而是要配合 Comfy-Org/MiniMax-H3 的 BF16 base model 使用；頁面未提供更完整的 base model 參數規模或訓練細節，所以不能再往下猜。

這種設計的取捨很直接：步數少，生成時間通常更短，但對動作細節和穩定性的容錯也會更窄。頁面列出的比較都在同一個 BF16 base model、同一輸入與 10 秒、約 0.9MP 解析度條件下做，LoRA strength 固定 1.0；不同場景下，時間大概落在 174 到 190 秒之間，速度提升存在，但不是壓倒性。

重點摘要：
– 支援 T2V 與 I2V，I2V 走第一幀路徑，亦可用最後一幀收尾
– 固定 4-step Euler，重點是縮短推理流程而非擴大模型能力
– 需要配對 Comfy-Org/MiniMax-H3 的 BF16 base model
– 頁面未列出 GGUF、mmproj、上下文長度或量化檔案資訊
– 與 lightx2v LoRA 的比較屬同級加速方案，差距主要體現在時間與輸出取向

從檔案描述看，這個項目是 LoRA，不是完整 diffusion checkpoint，所以它的定位比較像「推理策略補丁」而不是全新模型。頁面也沒有提供 llama.cpp、Ollama 或 LM Studio 的支援資訊，顯示它主要面向 ComfyUI 工作流，而不是通用本地推理框架。

檔案命名上，頁面強調這是 v2 類型的更新版本脈絡；因此可確認的只有它圍繞 H3 的 joint audio-video diffusion path，並以固定 4 步作為加速契約。若要和原始 base model 比，差別不在功能範圍，而在於把生成速度和步數控制收緊，換取更快的工作流回饋。

模型

Categories: 開源, ComfyUI, 數字人, 視覺模型, 視頻模型, Video, Image, Audio, MiniMax

Hermes WebUI 把代理搬到瀏覽器

Share to X Facebook

想長開一個會記住上下文的 AI agent，又不想長期困在 terminal，Hermes WebUI 正好補上這個缺口。它保留 CLI 能力，同時把多裝置存取整理得更順手。

Workspace file browser with inline preview

把一個長時間運行、會累積記憶的 autonomous agent 放到瀏覽器，而且幾乎不削弱原本 CLI 操作，正是 Hermes WebUI 最值得留意的地方。它屬於 Agent 介面工具，實際處理的是 Hermes Agent 在日常使用裡不夠方便的互動問題，讓你不必只靠 terminal 或訊息 app 才能管理對話、工作區與設定。

跟不少另起一套前端堆疊的 Web 介面不同，Hermes WebUI 走得相當克制：不用 build step、不用 framework、也不用 bundler，只靠 Python 和 vanilla JS。這種取捨帶來的好處很直接，部署比較輕、維護點較少，亦更貼近原本 Hermes Agent 的運行方式；代價是它的重點明顯放在功能對齊，而不是做一個花巧的前端展示層。

介面設計本身也有明確工作流考量。三欄布局把 session、聊天區與 workspace 檔案瀏覽分開，模型、profile 同 workspace 控制則固定放在 composer footer，減少來回切換；再加上 token context ring、Hermes Control Center、voice、mobile 與主題切換，較適合需要長時間跟 agent 協作、又要隨時查看檔案與工具呼叫紀錄的人。

  • 1:1 對齊 Hermes CLI，終端可做的操作基本都能在 WebUI 完成
  • 支援 session、workspace、voice、profiles、安全設定與手機存取
  • 可用自動探索、手動啟動、SSH tunnel、Tailscale、Docker、Nix 等方式部署
  • 建基於既有 Hermes Agent 與現成模型，毋須另設一套推理環境

安裝理解上，它不是獨立 agent，而是 Hermes Agent 的瀏覽器前端，所以前提仍然是先把 Hermes 本體跑在伺服器，再用 bootstrap、start/ctl 腳本、Docker 或 Nix module 把介面掛上去。在存取方式、部署彈性與跨裝置操作一致性；對於已經在自架 AI agent、想把 CLI 工作流延伸到桌面與手機的人，這個項目的價值相當明確。

GitHub

Categories: 開源, Agentic, 框架, Python, 語音

MatrAIx-Persona-8B: 模擬現實中的人性

Share to X Facebook

MatrAIx 把人性化模擬用戶搬入評估流程，讓產品在推出前先看見不同人會點互動。它特別適合做問卷、聊天、網頁同 App 測試。

Watch the MatrAIx demo on YouTube

MatrAIx 是一套以多樣化模擬用戶做核心的評估基建，目標是補足只看單一指標、卻看不到不同人實際反應的盲點。它把 persona 變成 LLM agents，分別在 Survey、AI Chatbot、Web 同 App 四種環境跑可重現的任務，適合用來看產品、介面同互動流程會點影響不同用戶。

它的做法唔係只生成幾個虛構角色，而係用 1,290 個人格維度去組合背景、心理、能力同行為，再加上依賴關係處理同 evidence-aware human grounding。這種設計令評估結果唔止係一條總分，而係可以分辨邊類用戶受影響、邊種流程出問題。

MatrAIx: Simulating the World with 8.3B Persona Agents
  • 可用於市場研究、概念測試、客服對話、網頁原型同 App 流程評估
  • 介面前有 Playground 同 visual runner，方便先睇互動再做批量測試
  • persona-agent 範例需要 Model API keys，Playground / viewer 前端只要求 Node.js 20+
  • 內文提到嘅公共 persona 資料集同評估報告，顯示它偏向研究同產品驗證兩用。

同一般只做通用 benchmark 的方法相比，MatrAIx 強調人口規模同可重現的模擬軌跡，重點唔係單次對錯，而係不同 persona 之間的差異。這對做 AI 產品、用戶研究、RL 訓練前資料收集的團隊較有價值，因為佢提供的是互動過程同行為痕跡，而唔只是結果分數。

項目主頁 · GitHub

Categories: 開源, Agentic, API, Medical醫學, Dataset 數據集

round-trip-consistency：雙向 diffusion 幫長序列預測錯誤

Share to X Facebook

遇上長步數 rollout，最難不是生成下一步，而是知道幾時開始唔可信。round-trip-consistency 用一次來回推演，直接估計模型當下誤差。

Bidirectional round-trip consistency overview

長序列 rollout 最棘手的位，在於錯誤會一路累積，但部署之後偏偏冇真值可以對照。round-trip-consistency 針對的正正是呢個缺口：它屬於一個研究型模型項目，用單一 conditional latent diffusion model 同時向前、向後推演 dynamical system，然後用來回一次嘅落點差距 round-trip consistency 當成自監督誤差訊號，判斷當前預測仲值唔值得信。

相比靠 ensemble、外部觀測、保留測試資料，甚至依賴 governing equations 去估可信度，呢個做法嘅取捨幾直接：代價係多做一次反向 rollout，換來唔需要額外真值。模型關係亦唔複雜，高維輸入先經 VAE 壓到 latent space，再由同一個 bidirectional latent diffusion model 配合 direction flag 做 forward 或 backward rollout，所以 backward 不只是檢查工具，亦順手變成 inverse solver。

現有資料已經講清楚它較適合點樣理解和測試：重點唔係即裝即用嘅應用介面，而係跟隨論文與程式碼重現 rollout、計算 C_i(Confidence Interval)，再觀察它同真實 rollout error 嘅關係。對做科學模擬、時序生成、物理場預測，或者想為 autoregressive generative model 加一層 test-time trust signal 嘅研究團隊，呢類方法比單純看步數深度更有參考價值。

  • 用 forward 再 backward 嘅差距作為無需量測嘅 test-time error signal
  • 同一個 bidirectional diffusion model 包辦雙方向推演，訓練成本冇因雙向設計而上升
  • 在 MHD、turbulent Navier-Stokes 同 CelebV-HQ 呢類資料上驗證，覆蓋物理場與影像序列
  • 可用來做 error ranking、OOD flags 同 selective prediction，而唔止係生成結果本身

結果 C_i 在 held-out MHD trajectory 與 rollout error 有高相關，固定深度下 Spearman 可達 0.91 至 0.98；面對 out-of-distribution 的 Orszag-Tang vortex，AUROC 達 0.98，到 depth 10 去到 1.0。它亦能在 80% coverage 下將 incurred error 降低 15%，而在 LE-PDE-UQ 的 benchmark，一個 bidirectional model 已接近十模型 ensemble 嘅水位，訓練成本只係十分之一。不過呢個項目仍然偏研究原型，價值最大嘅場景係替長 rollout 模型補上「幾時應該停、幾時可以信」呢個判斷層，而唔係即時提供完整產品化流程。

項目主頁 · GitHub

Categories: 開源, World-Action Model, 庫, Dataset 數據集

UA-NWM 不確定性無人機導航

Share to X Facebook

無人機朝目標圖片飛行，最難唔係預測一條路，而係判斷目標畫面是否仍屬合理路徑。UA-NWM 解決「模型解釋唔到」的誤差。

Repository image for DurYi/UA-NWM

戶外無人機導航最易出錯的位置，在於前方畫面未必只有一種合理變化。UA-NWM 把這個問題當成 world model 的評分工作處理，面向 aerial image-goal navigation，唔再只估一個未來畫面再同目標硬碰硬，而係判斷目標圖片是否落在模型預測的未來狀態分佈之內。

它最值得留意的技術點，是用 Hierarchical Error Projection（HEP）把預測與目標之間的差距拆成可由不確定性子空間解釋的部分，同埋解釋唔到的殘差，最後只用後者作為 trajectory cost。呢種做法同單點預測式 ranker 的分別很直接：同樣見到偏差，UA-NWM 會先問偏差是否屬於合理未來變化，而唔係一概當成走錯路。

模型本身會預測未來的 DINO latent features，配合 deterministic future feature map 同 uncertainty subspace 做單次 forward scoring，避免靠隨機抽樣多個未來狀態先完成比較。同一個 checkpoint 可配合兩種 inference strategy，包括 uncertainty-aware 的 UA-NWM 與 deterministic baseline，適合研究團隊直接比較兩種評分邏輯帶來的差異。

  • 適合 UAV 導航、戶外機械人感知，以及要由目標圖片反推行進路線的團隊
  • 重點唔係生成最像的未來畫面，而係判斷目標是否仍在合理未來分佈內
  • 提供 AirGoal-10k 的 training、evaluation、trajectory ranking、CEM/MPC planning 與 visualization workflow
  • deploy/ 內有真實部署用的 server-side policy wrapper，但原始資料未完整交代整套部署步驟

它已對應 AirGoal-10k，並包含真機 UAV demo、資料集連結與 pretrained checkpoints；受益最大的是需要處理大範圍戶外場景、多解未來觀測，以及想把 world model 直接接到規劃器如 CEM/MPC 的團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 清華大學, 世界模型, 模型訓練, Image, Dataset 數據集, 百度

StreamArena 多模態長片代理的記憶與互動分析

Share to X Facebook

來自香港科大、港大與中大及小紅書的團隊，把長達近 90 分鐘的影片理解拆成可持續觀察、回想、找工具與主動回應四種能力。

StreamArena overview

由 HKUST(香港科技大學)、The University of Hong Kong(香港大學) 與 The Chinese University of Hong Kong(香港中文大學) 及小紅書組成的開發團隊，將焦點放到一個很多多模態代理都未真正處理好的難題：影片唔再係幾秒剪輯，而係接近一個半鐘頭、仲要持續互動。StreamArena 屬於資料集與評測工具包，處理的是 continuous streaming video understanding，目標係用統一方法檢驗代理在長時間影音流之中，能否即時理解、隔一段時間後仍然記得內容，並在合適時機用工具或主動回應。

呢個項目最值得注意的地方，在於它唔用短片加選擇題去掩蓋模型弱點，而係用 243 段 full-length videos、平均 88.8 分鐘、合共 3,646 個 open-ended tasks，分成 Real-Time Perception (RTP)、Historical Retrospection (HR)、External Tool Use (Tool) 同 Proactive Interaction (Pro)。HR 與 Pro 仲按時間跨度分層，HR 最遠拉到 30 分鐘，直接把長期記憶與延遲控制的取捨攤開來測。

StreamArena Evaluation Toolkit：streamarena/ 放資料載入、媒體處理、tool-call protocol、OpenAIBackend、GeminiBackend 同 LLM-as-Judge scorer；method/ 則整理多種被測方法，包括 offline 的 Qwen、MiMo、Kimi、Qwen-Omni、Gemini，以及 MiniCPM-o-4.5、VST、StreamForest、ThinkStream。所有方法都寫入同一套 records JSONL schema，所以 judge/ 可以用同一把尺評分。安裝與執行細節在目前資訊裡未完全展開，但可確認它不是單一模型倉庫，而是用來重跑、對齊與比較不同方法的評測框架。

  • 覆蓋四類能力：RTP、HR、Tool、Pro，唔只問答，仲測持續監看與主動互動
  • 243 段長影片、平均 88.8 分鐘，資料規模明顯偏向長時序理解
  • 同一份 JSONL 輸出格式配合通用 judge，方便橫向比較不同方法
  • StreamMind 在同一 Qwen3.5-397B-A17B backbone 上，把 pooled query-to-answer latency 降低 66.2%

一個重要限制：StreamMind 在這次釋出裡只有 evaluation protocol docs，未附完整可直接重現的實作；AURA 亦只提供 client，server 仍要依賴官方 vLLM。換句話說，StreamArena 現階段更像研究團隊、代理系統開發者同多模態評測工作流會用到的基礎設施。想比較不同 streaming method、檢查長影片代理究竟卡在記憶、反應，還是工具調用，呢個項目比一般短片 benchmark 更接近部署前要面對的現實。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 香港大學, 香港科技大學, Agentic, 多模態模型, Qwen, Gemini, Video, 香港, Kimi

SimWAM：把 AI 影片變成自動駕駛規劃

Share to X Facebook

華中科大與東風研發團隊提出的 SimWAM，將影片專家和動作專家共同訓練，再丟掉影片分支只保留規劃器。它把未來畫面學到的動態先驗，轉成較低延遲的軌跡預測。

Overview of the SimWAM architecture with isolated attention

華中科技大學與東風研究團隊合作提出 SimWAM，重點是把影片生成的能力轉成自動駕駛規劃訊號，而不是在推理時硬做未來影像生成。它屬於 World-Action Model (WAM)，直接處理端到端自動駕駛中的軌跡預測與規劃問題，目標是減少延遲，同時保留對交通動態的理解。

訓練時，系統會把預訓練影片專家和輕量動作 DiT 一起做 joint flow matching，讓未來畫面學到的動態先驗滲入動作表示。兩邊共享注意力流，但用 isolated attention mask 令未來片段和動作 token 不會互相偷看，推理時就可以直接丟掉影片分支，只留下動作專家。

  • 研究團隊來自 Huazhong University of Science & Technology 和 Dongfeng Research & Development Institute。
  • 推理階段不需要未來場景生成，也不需要額外動作模組。
  • 動作專家可獨立縮放，影片骨幹亦可替換，結構相對靈活。
  • 在 NAVSIM 上取得 91.5 PDMS，並可 zero-shot 遷移到 nuScenes。
  • 強化學習部分用 FlowGRPO 去優化組合式駕駛獎勵，只更新動作專家的 LoRA adapters。

它最值得留意的地方，不在於把模型堆得更大，而是把訓練用的影片訊號和部署用的規劃器切開，令系統在保留動態理解的同時減少推理負擔。官方沒有完整列出安裝步驟，因此較適合先按論文與程式庫說明理解其訓練和部署流程。

GitHub · 模型

Categories: 開源, 視覺模型, VLA, 中國

LISA：讓 MEG 語音解碼由準確走向可解釋

Share to X Facebook

LISA 把腦磁訊號配對到語音嵌入，並保留空間、時間與聲音特徵線索。

LISA architecture and analysis pipeline

將一段 3 秒、208 通道的腦磁圖（magnetoencephalography，MEG）訊號配對到聽到的語音，同時追查證據來自哪個腦部位置與時間段，正是 LISA 要處理的問題。它屬於可解釋神經解碼模型，透過對比式檢索目標，把 MEG 片段映射至對應音訊的 Wav2Vec2 表徵。

LISA 的價值不只在於找出正確語音片段，而是把空間濾波器、時間濾波器和分支結構直接保留下來，方便轉換成感測器空間或皮質來源的分析結果。它採用幾何感知的空間注意力，配合 25 個可解釋分支，每個分支使用 150 ms 時間核心，再接兩個時間卷積區塊。

在 MEG-MASC 實驗中，模型於 1,005 個候選語音片段取得 39.75 ± 0.34% Top-1 準確率及 70.4% Top-10 準確率；完整解碼器有 486,619 個可訓練參數，約為 Défossez et al. 方法的二十分之一。配對 MEG 遮蔽分析亦發現，19 項測試聲音特徵中有 15 項對檢索有貢獻，惟這些結果仍屬特定資料集與實驗設定，不能直接推廣至所有腦訊號任務。

  • 可抽取空間及時間濾波器，支援後續神經科學分析
  • 內置 preprocessing、training、evaluation 與 analysis 程式
  • Python 3.11 的 LISA 環境可用於 synthetic demo 或新資料集
  • CPU 可以執行，訓練階段使用 CUDA-capable GPU 會較合適
  • 重現 MEG-MASC 清理流程，儲存空間峰值約需 300 GB

研究人員可先用 synthetic demo 熟習張量流程，再按文件改接其他 EEG（electroencephalography，EEG）或 MEG 資料。相較只追求檢索準確率的深度解碼器，LISA 以較小模型換取可追溯性；需要完整重現結果的人，仍要準備資料集、環境及較大的儲存空間。

項目主頁 · GitHub

Categories: 開源, 模型訓練, 框架, Medical醫學, 語音

ComfyUI-Spectrum-MiniMax-H3：為 H3 加速 33%

Share to X Facebook

將 1056x608 影片生成由 685 秒縮短至 464 秒，避開昂貴的 transformer 重算。它屬近似加速，但影片細節可能走樣。

Repository image for xmarre/ComfyUI-Spectrum-MiniMax-H3

每次跑 MiniMax H3 都要付出完整 transformer 計算成本，對要反覆試 prompt、鏡頭動作同參考音訊的人來說，等待本身就是工作流瓶頸。xmarre/ComfyUI-Spectrum-MiniMax-H3 針對的正是這一步：它屬於 ComfyUI 自訂節點工具，會在部分 solver steps 直接預測 post-transformer hidden features，減少原生 MiniMax H3 audio-video model 的重計算次數。

實測生成 1056×608 影片由 685 秒縮短至 464 秒。加入這 Node 後可惜仍未能解決「廣東話」問題！

它不是把整個模型 shortcut 掉，而是用 Chebyshev ridge model 去擬合已經算出的 hidden features，再對未來步數作 spectral forecasting；但當前步的 output heads、video reconstruction、audio reconstruction、sigma mapping 同回傳結構仍然照常執行。這個取捨很務實，因為它換到的是抽樣成本下降，不是完全無損加速，所以 README 已經講明輸出不會與原生 MiniMax H3 bit-identical。

作者後來把預設路徑改成 offline_smoothing_replay，核心原因不是追求更高畫質，而是先救回音訊品質。早期單次流程會令語音清晰度、自然度同穩定性下降，甚至出現 doubled syllables 同 stuttering；現時預設把 audio_blend_weight 維持在 0，並以第二次無 transformer 的 replay 處理 video blend，目的就是切斷後段 video-to-audio feedback 對聲音的干擾。不過，畫面軌跡仍可能改變，動作、視線、時間點，甚至眼睛、手指、四肢細節都有機會走樣。

安裝十分簡單，適合願意做 exact-seed A/B 比對的創作者、工作流調校者，或者已經在 ComfyUI 內使用 MiniMax H3 的團隊。README 也提到舊版 workflow 可能要手動開啟 offline_smoothing_replay，而且 broader checkpoints、prompts、samplers 同 reference inputs 仍未完成足夠驗證，現階段更像是一個有方向、有明確修正策略，但仍需按素材類型逐步確認的加速方案。

  • 以 spectral forecasting 預測部分 future solver steps，重點是減少 MiniMax H3 最昂貴的 transformer evaluations。
  • 保留當前步的原生輸出頭與音畫重建流程，因此屬於近似加速，不是無損複製原生結果。
  • 預設改用 offline_smoothing_replay，主要是修正早期版本對語音自然度與穩定性的破壞。
  • 音訊路線暫時較保守，但視覺結果仍可能出現 motion、pose 與細節結構偏移。
  • 較適合已在 ComfyUI 工作流內做反覆測試、願意接受 A/B 驗證成本的使用情境。

GitHub

Categories: 開源, ComfyUI, 視頻模型, Video, Audio, MiniMax
Page 49 of 118
1 … 47 48 49 50 51 … 118