多模態模型

StreamArena 多模態長片代理的記憶與互動分析

2026 年 8 月 10 日

來自香港科大、港大與中大及小紅書的團隊，把長達近 90 分鐘的影片理解拆成可持續觀察、回想、找工具與主動回應四種能力。

由 HKUST(香港科技大學)、The University of Hong Kong(香港大學) 與 The Chinese University of Hong Kong(香港中文大學) 及小紅書組成的開發團隊，將焦點放到一個很多多模態代理都未真正處理好的難題：影片唔再係幾秒剪輯，而係接近一個半鐘頭、仲要持續互動。StreamArena 屬於資料集與評測工具包，處理的是 continuous streaming video understanding，目標係用統一方法檢驗代理在長時間影音流之中，能否即時理解、隔一段時間後仍然記得內容，並在合適時機用工具或主動回應。

呢個項目最值得注意的地方，在於它唔用短片加選擇題去掩蓋模型弱點，而係用 243 段 full-length videos、平均 88.8 分鐘、合共 3,646 個 open-ended tasks，分成 Real-Time Perception (RTP)、Historical Retrospection (HR)、External Tool Use (Tool) 同 Proactive Interaction (Pro)。HR 與 Pro 仲按時間跨度分層，HR 最遠拉到 30 分鐘，直接把長期記憶與延遲控制的取捨攤開來測。

StreamArena Evaluation Toolkit：streamarena/ 放資料載入、媒體處理、tool-call protocol、OpenAIBackend、GeminiBackend 同 LLM-as-Judge scorer；method/ 則整理多種被測方法，包括 offline 的 Qwen、MiMo、Kimi、Qwen-Omni、Gemini，以及 MiniCPM-o-4.5、VST、StreamForest、ThinkStream。所有方法都寫入同一套 records JSONL schema，所以 judge/ 可以用同一把尺評分。安裝與執行細節在目前資訊裡未完全展開，但可確認它不是單一模型倉庫，而是用來重跑、對齊與比較不同方法的評測框架。

覆蓋四類能力：RTP、HR、Tool、Pro，唔只問答，仲測持續監看與主動互動
243 段長影片、平均 88.8 分鐘，資料規模明顯偏向長時序理解
同一份 JSONL 輸出格式配合通用 judge，方便橫向比較不同方法
StreamMind 在同一 Qwen3.5-397B-A17B backbone 上，把 pooled query-to-answer latency 降低 66.2%

一個重要限制：StreamMind 在這次釋出裡只有 evaluation protocol docs，未附完整可直接重現的實作；AURA 亦只提供 client，server 仍要依賴官方 vLLM。換句話說，StreamArena 現階段更像研究團隊、代理系統開發者同多模態評測工作流會用到的基礎設施。想比較不同 streaming method、檢查長影片代理究竟卡在記憶、反應，還是工具調用，呢個項目比一般短片 benchmark 更接近部署前要面對的現實。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 香港大學, 香港科技大學, Agentic, 多模態模型, Qwen, Gemini, Video, 香港, Kimi

AVE-Compass：音畫編輯終於有了更嚴格的驗收尺

2026 年 8 月 7 日

AVE-Compass 把音效、畫面與指令完成度放在同一套測試中，揭示編輯模型最容易忽略的失真與不同步問題。

音畫編輯模型最難兼顧「改得夠準」與「其他內容不走樣」。AVE-Compass 是一套針對自由格式音訊影片編輯的診斷基準及評估工具，檢查模型有沒有完成指定修改，同時保留非目標畫面和聲音，亦會捕捉音畫不同步與感知瑕疵。

測試範圍包括145段來源影片、196條經人工核實的音畫指令、2,688項細緻 checklist，以及28種編輯操作，涵蓋聯合音畫、語音、純影片和純音訊修改。它以 Multimodal Large Language Model (MLLM)-as-Judge 配合跨模態、影片及音訊自動指標，分開計算 Instruction Following、Fidelity Preserving、Editing Intent 和 Realism。

MiniMax H3 Turbo LoRA Faster Sampling Steps & Prompt Agent Skill

Watch this video on YouTube

使用者可從 AVE-Compass-v2 資料集取得樣本，再按設定檔和輸入模板交予評估 pipeline，輸入來源影片、指令、checklist 及模型產生的編輯結果。樣本以共享的識別值配對，來源影片則由 instruction JSON 解決；未啟用或缺失的客觀指標會維持未設定，不會被當成虛構的零分。

重點可整理為：
– Editing Intent 同時要求完成修改及保留非目標內容，避免模型不作修改卻取得偏高保存分數。
– 音訊執行和音畫時間同步是常見失分位置。
– AVE-Agent 加入 planning 和 self-reflection，對複雜指令的 Editing Intent、Instruction Following 及音訊處理有較明顯改善。
– 基準適合研究團隊比較模型，也適合影片生成產品建立回歸測試。

它的價值不在於只給一個總分，而是把「改錯了甚麼」拆開呈現；代價是需要模型輸出影片、完整評估資源及相應 MLLM，部署門檻高於單純像素或音質比較。對正在開發跨模態編輯模型的團隊，AVE-Compass 更像一套找出失敗原因的驗收框架，而不只是排行榜。

項目主頁 · GitHub

Categories: 開源, 南京大學, Agentic, 多模態模型, 語音, Dataset 數據集

Ego2Robot 把人類影片轉成機械人訓練數據

2026 年 8 月 6 日

Ego2Robot將第一身人類操作影片轉化成大規模機械人訓練數據，改善 VLA 模型面對陌生環境時的泛化能力。

機械人要應付陌生場景，往往需要大量而且多樣化的示範數據；Ego2Robot選擇從第一身人類操作影片取材，將人手動作轉換成不同機械人形態可以使用的訓練資料。這個數據合成項目面向 Vision-Language-Action（VLA）模型預訓練，處理人類影片與機械人動作、視覺外觀不一致的問題。

流程分為動作對齊、視覺對齊和品質篩選三部分。系統會把拇指、食指、中指指尖及手腕等關鍵點重新映射到夾爪的 TCP、開合幅度和方向，再以 Savitzky–Golay 及 SLERP 平滑動作；視覺處理則結合 SAM 3、ProPainter、機械人底座姿態搜尋和 IK solving，把機械人手臂合成到已修補的人類場景中。

項目支援已有手部姿態標註的數據集，也可以從原始影片估算姿態，後者使用 WiLoR 逐幀重建和 DynHaMR 時序最佳化。統一流程可以平行產生 15 種 robot morphologies，累積 18,561 小時訓練數據，涵蓋較多任務、場景和機械人配置。

重點包括：
– 同時支援 curated datasets 和 in-the-wild videos
– 以多層 quality curation 篩走動作及視覺合成中的低質資料
– RoboTwin 2.0 加入視覺外觀、場景佈局、機械人形態和任務語義等干擾軸
– 與機械人數據聯合預訓練後，多種 out-of-distribution 情況下的泛化能力提升
– 改善效果亦在真實機械人部署中獲得驗證

對需要建立通用機械人操作模型的研究團隊，Ego2Robot提供了一條減少真人示範收集成本的路線。不過，合成數據的品質仍取決於手部姿態估算、動作重定向、逆運動學和場景合成是否準確，因此它較適合作為真實機械人數據的補充，而不是完全取代實體部署資料。

項目主頁

Categories: 阿里巴巴, 視覺模型, 多模態模型, 模型訓練, Qwen, Video, VLA, Robotic, 中國, Dataset 數據集

Meta 提出多模態預訓練的關鍵：視覺要及早融入

2026 年 8 月 6 日

模型學習文字、看圖與生成圖像，未必會自然互相增益。這組研究拆解知識如何流動，並提出更有效的多模態預訓練配方。

對需要同時理解文字與影像、甚至生成影像的模型來說，最難處理的不只是資料量，而是不同能力會否互相拖累。這項由 Meta FAIR、Reality Labs 與 University of Oxford 團隊進行的研究，以統一多模態預訓練為焦點，探討語言、視覺理解和視覺生成怎樣共同學習。

研究發現，跨模態知識流動並不對等。語言資料可普遍提升各類視覺任務；視覺理解會為影像生成提供強而有力的先驗知識；視覺生成對其他能力的直接幫助則較有限，主要透過加快低階概念學習，間接改善理解能力。團隊亦以 CLEVR 合成資料集配合真實世界資料，分辨不同概念之間的轉移方式。

語言可增強視覺理解與視覺生成能力
任務愈複雜，模態之間愈可能出現競爭
參數共享方式會改變不同模態能否產生協同效果
視覺路徑應由預訓練初期同步學習
延後加入視覺訓練，可能造成「vision laziness」

「vision laziness」指模型過度依賴語言捷徑，未有充分學習影像訊號。研究比較早期統一訓練、後期整合及順序式訓練後認為，視覺與語言由一開始共同演化，表現會較穩定；將視覺資料延後加入，即使模型其後接觸影像，也未必能補回早期錯失的表徵學習。

團隊把受控實驗得出的資料混合比例與擴展策略，套用至以 2T tokens 訓練的 13.5B Mixture-of-Experts（MoE）模型驗證。對設計多模態基礎模型的人而言，研究提供的價值不在單一架構，而是指出資料配比、任務難度、共享設計與整合時機，均會直接影響模型是否真正學會運用視覺。

項目主頁 · Paper

Categories: 多模態模型, 模型訓練, Meta

MiniMax H3：全模態影音生成說明書

2026 年 8 月 6 日

MiniMax H3 把文字、圖片、影片與聲音整合到同一套生成流程，並支援同步影音輸出。

MiniMax H3 面向需要由多種媒體素材生成影片的場景，輸入可包括文字、圖片、影片及聲音，輸出則涵蓋影片與同步音訊。它屬於通用 omni-modal generative system，並非只處理 text-to-video，亦標示支援 image-to-video、video-to-video、audio-to-audio-video 等流程。提供的內容未載明它基於哪個 base model，亦無法確認是否由其他模型 fine-tuned from。

這種統一處理方式適合將參考圖片、動態片段或聲音一併納入生成條件，減少工作流程需要分拆成多個模型的情況。metadata 指向 Diffusers，並列出 multimodal、synchronized-audio-video 及 reference-to-audio-video 等能力；不過目前資料未交代模型架構、參數規模、上下文長度、訓練方法或效能指標。

可留意的使用重點包括：
– 支援 text-to-video、image-to-video、image-text-to-video 及 video-to-video。
– 可處理文字、圖片、影片與音訊，並生成 audio-video 組合內容。
– 提供 Global 與中國地區的 Online API，以及 Hailuo AI 網頁和桌面 App。
– 標示使用 MiniMax H3 Community License Agreement，部署前應查閱 LICENSE。

項目主頁

Categories: 開源, 多模態模型, 視頻模型, Video, Image, Audio, 3D, Ollama, MiniMax

Vision-DeepResearch：由靜態圖片走向連續影片的 DeepResearch Agent

2026 年 8 月 5 日

Video-DeepResearch 將視覺搜尋延伸至連續影片，要求模型先理解跨畫面的證據，再進行網絡探索。

面對需要翻查影片內容、再結合網絡資料回答的問題，單靠文字搜尋往往會漏掉關鍵畫面。Video-DeepResearch 是一個多模態研究型 Agent 項目，透過 Video-DeepResearch（Video-DR）處理連續影片中的時空資訊，並把視覺理解與網絡探索分開安排。

它修正了兩個常見卡位：模型偏向使用文字工具，較少主動檢視影片；模型亦可能直接依賴內部記憶，未有真正完成工具輔助搜尋。Pipeline 先逐階段解鎖視覺工具，要求模型完成跨畫面 grounding，再進入網絡檢索，取捨是流程較嚴謹，但推理成本和執行時間亦可能增加。

訓練流程先以 Supervised Fine-Tuning（SFT）建立基本能力，再使用 Group Relative Policy Optimization（GRPO）強化自主探索。項目同時提供 30 K 個 video-grounded QA pairs、7 K 條整理後的 trajectories，以及程式碼、資料集和模型權重，研究團隊可按需要測試基準、重現訓練或直接載入模型。

Video-DR-35B-A3B 在 Video-DR 達到 68.0% accuracy
比 Claude-4.5-Sonnet 的 63.0% 高 5.0 個百分點
GPT-5 和 Gemini 2.5 Pro 分別為 57.0% 和 62.0%
Vision-DeepResearch-30B-A3B 延續同一研究方向，另有 SFT-only 的 8B 版本

現有結果反映它在影片證據與網絡資料需要互相驗證的工作較有價值，例如研究、媒體核查和長片段問答；但 68.0% 仍代表部分問題會出錯，較適合作為研究平台和可檢驗的 Agent 架構，而不是無需監督的影片分析服務。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 香港理工大學, Agentic, 多模態模型, 模型訓練, Qwen, OpenAI, Gemini, Video, 香港, Anthropic, Dataset 數據集

JoyAI 把即時串流影片編輯推向 720p

2026 年 8 月 5 日

影片逐幀抵達便可按文字指令修改，JoyAI-Video-Edit 以 30.19 FPS 連接即時攝影與生成式編輯。

直播畫面或上載影片不必等到完整片段準備好，便能一邊輸入自然語言指令、一邊看到修改結果。JoyAI-Video-Edit 屬於開源影片生成及影像處理模型，處理的是影片串流中延遲高、必須預先知道片長，以及難以維持連貫性的編輯流程。

它支援主體修改、局部區域調整、背景替換、風格轉換、動作改變和參考影像引導，適合互動示範、直播效果及需要即時預覽的創作工具。系統以 Multimodal Large Language Model（MLLM）條件編碼器、causal video Variational Autoencoder（VAE）及 16B-parameter Multimodal Diffusion Transformer（MMDiT）組成，逐段處理新抵達的畫面。

同類影片生成方法往往先取得完整影片，再一次過進行離線處理；JoyAI-Video-Edit 改用 autoregressive diffusion，配合 aligned autoregressive distribution matching distillation、long-horizon optimization、bounded Key-Value state（KV-state）inference 和 deployment-oriented scheduling，換取串流速度。不過，這種設計仍要留意長時間輸出可能出現的 temporal drift，而且消費級 GPU 支援仍列為待辦工作。

部署基準在 720×1280 解像度達到 30.19 FPS end-to-end throughput，代表系統已接近互動式影片處理所需的速度，但不能直接等同於所有硬件和指令下都能保持相同表現。Hugging Face 提供 JoyAI-Video-Edit checkpoint，GitHub 同時提供部署程式碼和線上 Demo，較適合具備 GPU 資源、希望整合影片工作流，或研究 Computer Vision 與串流生成的團隊。

即時串流：畫面逐幀處理，不要求預先提供完整影片或固定片長。
指令範圍廣：涵蓋主體、局部、背景、風格、動作及參考影像編輯。
速度指標：720×1280 下達到 30.19 FPS 的完整流程吞吐量。
部署取捨：透過 bounded KV-state inference 控制計算量，但消費級 GPU 支援仍未完成。
適用人群：影片工具開發者、直播創作者及需要即時預覽的研究團隊。

GitHub · 模型

Categories: 開源, 視覺模型, 多模態模型, 視頻模型, Google, NVIDIA, Video, 蘋果, Dataset 數據集

3DZip 把 3D VLM token 減少到 10 分之一

2026 年 8 月 4 日

3D 問答模型常被海量 token 拖慢，3DZip 用免訓練壓縮方法把負擔大幅減輕。速度提升接近兩倍，原有能力大致保得住。

做 3D Question Answering 時，projection-based 3D vision-language models 往往要先把多視角 RGB-D 特徵投影到世界座標，結果每個場景會堆出幾千個 token，推理速度同記憶體壓力都會立即變成瓶頸。3DZip 屬於token compression 框架，處理的正正是這個問題，而且做法不是再訓練一個新模型，而是直接插進現有流程，先減重再回答問題。

它的判斷很清楚：3D token 的冗餘不只來自空間上太接近，還包括物件層級分佈不平均，所以單靠 2D VLM 常見的 attention 或語意相關性壓縮，未必保得住 3D 幾何結構。3DZip 用三步走處理，先做 voxelization 清走點級重複，再用 Determinantal Point Process（DPP）挑出特徵夠多樣的 anchor tokens，最後在空間限制下合併其餘 token，重點是保持 geometric coherence。

3DZip 提供 LLaVA-3D 的 inference 與 evaluation code，代表你可以把它理解成偏向研究驗證、效能比較同既有模型加速的項目，而不是即裝即用的完整產品。核心演算法放在 llava/model/multimodal_encoder/video_encoder.py 的 3dzip pooling branch，部署思路也很直接：以 LLaVA-3D 為基礎模型，把壓縮流程接到 multimodal encoder，再用基準測試看 token 數、速度同回答質素之間的取捨。

3DZip 在三個 3D question answering benchmarks 上，壓到128 tokens之後仍保留94.7%原始表現，推理速度提升到1.92×。這類數字最適合需要在有限 GPU 記憶體內跑 3D VLM、又不想為加速重新訓練整個模型的研究團隊；代價是目前公開重點仍集中在推理與評估，Hugging Face 權重與更完整版本例如 3DZip++ 仍未釋出。

免訓練設計，重點在於直接壓縮 projection-based 3D VLM 的 token 成本
與 2D token compression 不同，3DZip 同時處理空間結構同特徵多樣性
已公開 LLaVA-3D 的 inference 與 evaluation code，較適合研究與基準比較
128 tokens 仍保住 94.7% 原始表現，推理速度可達 1.92×
現階段較像演算法模組，未見完整產品化封裝

項目主頁 · GitHub

Categories: 開源, 視覺模型, 多模態模型, 框架, 3D

CADENA 把 3D 網格逐步還原成 CAD 程式

2026 年 8 月 4 日

想由3D mesh 反推可編輯 CAD 流程，CADENA 提供了一條幾務實的路。它唔係一次過寫完整程式，而係每步都先執行、再比較幾何差異。

做 3D reverse engineering，最大痛點唔係生成一段似樣代碼，而係生成之後能否真的建出可用、可編輯、而且封閉的幾何。CADENA 屬於模型加推理流程的參考實作，目標是把 3D mesh 重建成 parametric CAD program；它採用 stepwise inference，每次只發出一個 operation，先執行目前前綴，再用目標幾何與已建幾何的差距決定下一步。

這種做法的價值，在於把「一次過輸出整段程式」改成可檢查、可回退的逐步生成。倉庫內的 inference/ 會做 vLLM 服務、per-operation expansion 同 prefix selection，rl/ 則負責 sandboxed prefix rendering 與排序分數；系統只保留能令 IoU 改善的步驟，所以多走幾步不會令結果更差。代價同樣清楚：部署要 Python 3.10+、CUDA GPU、vLLM，同時依賴 OpenCASCADE via CadQuery，環境比一般 Vision-Language 模型推理更重。

模型本身用的是 Qwen2-VL-2B policy，Hugging Face 釋出 sft 與 rl 兩個階段，當中 rl 對應 CADENA-RL。輸入不是單張截圖，而是八個視角拼成一張圖，六個軸向視圖加兩個等角視圖；目標物放在綠色通道，當前已建立幾何放在紅色通道，模型讀到的其實是尚未補齊的殘差。這種設計直接把「下一刀應該補邊度」轉成視覺訊號。

幾個值得留意的重點：
– 倉庫提供完整推理、資料集建立、評分與可視化流程，但不包含用來合成訓練語料的 rule-based program generator。
– cadgen/ 只有 DSL runtime 的執行半部，較適合做還原、測試與基準比較，唔係完整資料生產管線。
– 預設流程會由 mesh 目錄建立 inference dataset，再輸出每一步的程式、輸入圖同 built STL，方便檢查中途錯誤。
– 無效預測會被剔除：建不出來，或者結果不是 watertight，都不算有效答案。
– 評分包含 GMS、IoU、CD，而且結果會按 family 及整體一併報告，避免單一類型零件拉高平均值。

適合研究 CAD reverse engineering、幾何生成、製造前處理，或者想把 mesh 轉回可參數化編輯流程的團隊。現階段最實際的理解方式，是把 CADENA 看成一套偏研究導向、但已經有明確 benchmark、checkpoint 同 rollout 腳本的開源項目；可重現性做得不錯，不過完整訓練資料生成鏈未公開，想延伸到自家資料或重訓流程，仍要補上不少工程工夫。

GitHub · 模型

Categories: 開源, 多模態模型, Qwen, Google, NVIDIA, 框架, 3D, Python, Dataset 數據集

DeepVoyager-VL 把視覺線索放回搜尋流程中

2026 年 8 月 4 日

DeepVoyager-VL不只是睇圖再答題，而係會用新取得嘅視覺證據決定下一步搜尋。對長流程多模態檢索項目而言，呢個改動幾關鍵。

Comparison of multimodal search data synthesis paradigms

當一個多模態 agent 要連續查多步資訊，最易失準嘅位置往往唔係答題，而係中途搵錯線索。DeepVoyager-VL處理嘅正正係呢個問題：佢屬於長流程多模態 deep-search 框架，讓新取得嘅圖片證據直接影響下一輪檢索，而唔係只喺輸入開頭或答案結尾先用到視覺資訊。

呢種做法令佢同一般把視覺訊息包裝成前置條件嘅方法有明顯分別。DeepVoyager-VL背後用 EventVoyage-VL 生成帶有中間視覺依賴嘅長流程問題，再用整理過嘅 trajectories 做 Supervised Fine-Tuning（SFT），而唔加額外 reinforcement learning 階段；取捨好清楚，訓練流程較可重現，但效果仍然要靠資料合成質素同軌跡篩選撐住。

倉庫而家已經放出 paper、project page，同可重現嘅 Megatron SFT training bundle，亦提供 DeepVoyager-VL-8B 同 DeepVoyager-VL-30B-A3B 模型，以及 EventVoyage-VL dataset。想理解點樣驗證，最直接係沿住現成模型、資料集同訓練 bundle 睇完整流程；README 亦提到 SWIFT RUNTIME=bundled 會使用儲存庫內嘅 source trees，定位上比較接近研究與訓練復現項目，而唔係即開即用嘅消費級產品。

核心改動：把 vision in the loop 放入搜尋中段，圖片可按需要先載入或裁切
資料來源：EventVoyage-VL 先做 structure-before-language synthesis，再抽出可監督軌跡
訓練路線：以 supervised-only 為主，冇再疊 reinforcement learning 階段
結果：8B 同 30B-A3B 平均分別為 54.8 同 58.6，並在十個 benchmark 入面分別拿下八個同九個最佳成績

分數本身已經講到定位：DeepVoyager-VL不只是追求更大模型，而係想改善「見到新圖之後，下一步應該搵乜」呢個決策環節。較受益嘅會係做多步檢索、多模態問答、研究型 agent pipeline 嘅團隊；要留意嘅限制亦同樣直接，成效高度依賴合成資料點樣把中途視覺依賴編排得夠真實，離開相關 benchmark 之後，泛化深度仲要靠後續驗證。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, 北京大學, 華為, Agentic, 模型, 多模態模型, 模型訓練, 框架, Dataset 數據集

Page 7 of 23

« Previous 1 … 5 6 7 8 9 … 23 Next »