多模態模型

GroundAnything 以並行解碼提升視覺定位速度

2026 年 10 月 13 日

GroundAnything 把多種視覺定位任務放進 4B 模型，嘗試同時處理精準座標與推理速度的取捨。

要在圖片中找出物件、位置和空間關係，GroundAnything 可一次處理多類 visual grounding 任務，減少逐個輸出座標帶來的延遲。它屬於 4B 級視覺基礎模型，實際處理的是影像內容與文字查詢之間的精準定位問題，適合影像標註、視覺搜尋及多模態分析工作流。

模型以 GroundAnything 的 diffusion decoding 配合 parallel decoding，讓空間假設可以並行生成；GroundAnything-VLM 則是獨立的 autoregressive checkpoint。前者針對序列生成的速度限制，後者保留自回歸模型路線，兩者均使用 GAM evaluation mode，並非同一模型的不同介面。

項目透過 grounding pretraining、AR-to-diffusion conversion、joint objectives、supervised fine-tuning 和 GRPO-based reinforcement learning 建立模型。30 個基準測試中，GroundAnything 勝過同級自回歸模型的整體最佳結果，亦超越較大的 Qwen3.7-Max；GroundAnything-VLM 在同級別取得新的整體最佳結果，並與 GPT-6 Astra 保持競爭力。

適合需要精準視覺定位、又要控制推理延遲的研究團隊和影像處理項目，硬件需求、實際吞吐量及不同圖片任務的穩定性仍需自行驗證。

速度取捨：以 diffusion decoding 和並行輸出減少空間預測的序列等待。
模型關係：GroundAnything 是 diffusion 路線，GroundAnything-VLM 是獨立 autoregressive checkpoint。
評估範圍：涵蓋 30 個 benchmarks，並比較 MTP-based generation 與多階段基礎設施優化。
適用場景：影像定位、批次標註、視覺搜尋及需要座標輸出的多模態工作流。

項目主頁 · GitHub

Categories: 開源, 香港大學, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, Image, 影像處理, 香港, 強化學習

GroundingPI 以 4B 視覺基礎模型連接感知與機械控制

2026 年 10 月 13 日

GroundingPI 把視覺定位轉成可供機械系統使用的點和框，主打複雜場景下的精準感知與控制效率。

要讓自動駕駛或機械人準確知道「要處理哪件物件、位置在哪裏」，單靠一般視覺語言模型仍可能在雜亂畫面和細小物件上失準。GroundingPI 屬於視覺 grounding foundation model，以 4B 參數模型處理定位問題，輸出可供後續控制使用的視覺結構。

模型以 visual primitives 為核心，將點和框表示成 shared vocabulary 中的 quantized coordinates，再配合 vision-language model、tokenizer、processor 和 custom model code。這種做法針對 VLA（vision-language-action）及 WAM（world-action models）常見的感知瓶頸，並讓 perceptual foundation 可以轉移到 autonomous driving 和 robotic manipulation。

定位方式：同時支援點與框，適合指定目標及描述空間位置。
模型規模：4B 參數，目標是在能力與運算成本之間取得平衡。
評測結果：涵蓋 34 個 grounding benchmarks、11 種感知能力，對比 44 個基準模型平均達 73.68%，高於 GPT-6 Astra 的 71.54%。
轉移價值：在 ID 和 OOD 評估，以及 action-data efficiency 方面，展示對自動駕駛和機械人操作的幫助。

對研究團隊而言，GroundingPI 不只是單次定位模型，亦可作為 System-1 foundation-model 的感知層，補足未必擅長精準 grounding 的通用視覺模型。項目提供 Hugging Face 模型及 Demo，並列出 vLLM、Transformers backend、OpenAI-compatible API 和 JSONL batch annotation 工作流；不過提供的儲存庫資料未交代完整硬件需求，部署前仍需按文件確認環境。

研究重點同時放在 pretraining scale 和 data composition 如何影響 grounding 及轉移效果。需要即時視覺定位、閉環控制或希望減少 action data 的自動駕駛、機械人及 embodied AI 團隊，會較容易從這個模型的感知能力受益；純文字或一般影像分類工作則未必能直接發揮其價值。

項目主頁 · GitHub · 模型

Categories: 開源, 香港大學, 香港科技大學, 北京大學, 清華大學, 模型, 視覺模型, 多模態模型, 模型訓練, API, Image, VLA, World-Action Model, Robotic, 香港, 庫, Tokenize

Work2Skill 把人手 GUI 操作變成可重用 Agent 技能

2026 年 10 月 13 日

Work2Skill 將人手操作錄成多模態證據，再整理成 Computer-use agents 可重用的工作技能。

Work2Skill overview: human GUI demonstrations, multimodal recording, action-linked evidence, agentic skill induction, an

面對陌生桌面軟件，單靠任務描述往往不足以交代按鈕位置、操作次序及完成後應有的狀態。Work2Skill 屬於 GUI 操作記錄、數據集與 Agentic skill induction 項目，處理的是如何把人手示範轉成可供 Computer-use agents 重用的程序指引，而不是另一個獨立基礎模型。

WorkRecorder 將螢幕影片、關鍵影格、滑鼠鍵盤事件及可用的無障礙資訊放在同一條時間線，讓每個動作同時保留畫面背景和介面狀態。WorkDemo-350 收錄 350 個桌面示範、約 8.48 小時錄製內容，包括 64 個 MyPCBench 任務及選出的 286 個 OSWorld 任務；AgenticSkillInduction 則提供基於 NexAU 的技能歸納範例，將流程整理成可執行時參考的技能。

它和只保存點擊座標或純文字步驟的做法不同，保留了操作前後的多模態證據，較適合處理介面改變、控制項含義不明或需要驗證結果的工作。不過，項目目前仍有清晰限制：macOS 錄製器及 Linux X11 AT-SPI 服務已提供，跨平台現場驗收仍待完成；下游評估整合亦尚未完成。

網站列出的結果以 0 至 100 分的 MyPCBench 平均分計算，四個執行模型在加入技能後最高提升 10.54 分。對需要累積桌面工作流程、研究 Computer-use agents，或希望以共同示範數據比較技能歸納方法的團隊，這套資源較有參考價值；資料集與錄製資料放在 Hugging Face，完整錄製及技能流程則要按各子目錄指南處理，原始資料未提供單一即用安裝流程。

核心價值： 把人手 GUI 經驗連同畫面、輸入及介面證據保存。
資料規模： 350 個示範，涵蓋 MyPCBench 與 OSWorld 任務。
技術組成： WorkRecorder、WorkDemo-350 及 NexAU 技能歸納範例。
主要取捨： 證據更完整，但跨平台驗收和評估整合仍未完成。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 多模態模型, Video, 軟件, Mac, Linux, 中國, Dataset 數據集, Skill 技能

CASE 讓 8B 模型主動尋找長期病歷證據

2026 年 10 月 13 日

CASE 訓練視覺語言模型自行翻查跨時段 MRI 與臨床資料，將醫療問答由讀答案推進至主動取證。

面對需要比較多次就診、器官變化與 MRI 切片的臨床問題，CASE 讓模型先決定應該查哪次訪視、哪個器官及哪種工具，再整理證據作答。這個項目屬於醫療多模態模型與 Agentic learning 實作，處理的是長期臨床推理中「證據未預先整理」的難題。

核心模型採用 Qwen3-VL-8B-Instruct，透過兩階段訓練建立工具使用能力：先以 RSFT 學習經篩選的教師軌跡，再以 Agentic RL 和 GRPO 讓模型根據自身操作結果修正策略。RLAIF rubric judge 負責評分，OPSD 則利用 privileged self-distillation，改善由證據走向結論的推理，而不硬性規定工具次序。

同一個 checkpoint 會按三種臨床角色工作：Anatomist 處理器官分割和體積變化，Radiologist 比較跨訪視 MRI，Consultant 則綜合影像、體積、MedGemma 報告和 skill memory。工具預算由 4 至 12 次不等，反映不同任務在查證深度與成本之間的取捨。

以 UK Biobank 4,739 名參與者建立 50,401 條縱向臨床問題
訓練資料包含 147,434 條 frontier-model 互動軌跡
在匹配條件下，Qwen3-VL-8B agent 的答案準確率較 GPT-5.4 高逾 16%，較 Claude Opus 4.8 高逾 10%
適合研究醫療 agent、MRI 分析及跨訪視證據整合的團隊

項目提供 Docker 環境，但執行預設需要 8 張 GPU、運行時可用的 gcc、另行下載 Qwen3-VL-8B-Instruct 權重，以及供 RL rubric judge 使用的 OpenAI-compatible API key。資料須透過 UK Biobank Showcase 或已獲批的 UKB-RAP 申請取得；適合作為研究型項目測試，未宜直接視為可即時投入臨床的產品。

項目主頁 · GitHub · 模型

Categories: 開源, 阿里巴巴, Agentic, 模型, 多模態模型, 模型訓練, Qwen, API, Image, 工具, Medical醫學, Dataset 數據集, Skill 技能, 強化學習

SepGen 讓影片生成同時輸出獨立聲軌

2026 年 10 月 13 日

SepGen 把影片生成與聲音分離放進同一模型，讓每種聲音獨立輸出，方便重混及空間音效製作。

影片生成不再只產生一條混合音軌：SepGen 是一個多模態生成模型，處理影片畫面、完整配樂，以及按描述分開的聲音 stem。你可以描述場景和各種聲音生成新片，也可以交給它現有影片，抽取指定聲音。

SepGen 建基於 LTX-2.5，在同一次運算加入兩條由文字控制的音訊軌；原有完整 soundtrack 保持不變，每條 stem 只根據自己的描述生成。相同模型同時支援 generation 和 separation，分離後的聲音亦可配合場景位置，延伸至 4D video 和 spatial audio 工作流程。

生成影片、完整 soundtrack 及獨立聲軌
以文字指定要抽取的聲音
同一組 weights 支援兩種任務
可配合移動視角重新呈現聲音位置

項目適合影片後期、遊戲場景、互動媒體及需要重新混音的研究團隊。README 提供 Linux、ffmpeg 及單張 48 GB NVIDIA GPU 的執行條件；模型 weights 約 72 GB，每段影片在 RTX A6000 上需數分鐘，長片則要啟用 VAE tiling，且 num-frames 必須符合 8k+1。

SepGen 的取捨在於硬件及模型容量要求不低，README 亦未提供低記憶體替代方案。gen-3k checkpoint 可用於 generation，分離能力約相近；項目同時提供模型與 SepGen-Dataset，但目前資料未交代更廣泛硬件的性能比較，較適合作為研究原型或具備 NVIDIA 工作站的製作項目。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 多模態模型, NVIDIA, Video, Audio, Linux, LTX, Dataset 數據集

VisionWeave 讓多模態模型按畫面分配細節

2026 年 10 月 13 日

VisionWeave 按內容保留重要視覺細節，減少冗餘視覺 tokens，兼顧長影片理解效率與任務質素。

長影片、圖表和文字密集畫面不需要每個位置都用同樣精細度處理。VisionWeave 屬於多模態模型（MLLMs）效率優化項目，讓模型按視覺內容決定保留細節或壓縮表示，處理視覺 tokens 過多所造成的成本與延遲問題。

VisionWeave 不是固定比例刪減 tokens，而是把 fine-grained 與 coarse-grained representations 編織起來，讓重要區域保留較多資訊、背景使用較緊湊的表示。項目針對 dense Qwen3.5 提供影像及影片 inference，評測則涵蓋 Qwen3.8-27B 與 Qwen3.5-4B，並比較 FastV、VisionZip 等固定預算方法。

Qwen3.8-27B 在八項 benchmark 平均節省 43.0% visual tokens，同時保留 98.9% 原生模型表現。於 SGLang、兩張 A100-80GB 和 BF16、TP=2 條件下，LongVideoBench throughput 由每分鐘 0.90 個請求升至 2.07 個，平均 TTFT 亦由 169.90 秒降至 77.54 秒。

按畫面內容自動調節視覺表示粒度
適合長影片、自然場景、圖表及文字密集影像
在多項任務與不同輸入解析度下衡量效率與質素取捨
README 提供的 checkpoint 需另行取得，完整安裝流程在目前資料中未交代

研究團隊同時提供 image/video inference，但儲存庫資訊未列出下載連結、硬件最低要求或完整測試步驟，因此較適合作為研究評估和 SGLang serving 實驗起點。對需要處理長影片、多張影像或高解析度輸入的模型團隊，VisionWeave 提供了比固定 token 預算更靈活的壓縮方向；代價是要配合指定 Qwen 模型與額外 checkpoint，未必能直接套用到其他架構。

項目主頁 · GitHub

Categories: 開源, 多模態模型, Qwen, Video, Image, 庫, Dataset 數據集

StereoBind 讓生成聲音跟隨畫面移動

2026 年 10 月 13 日

StereoBind 不只同步影片與聲音，還嘗試讓聲音方向跟隨畫面中的發聲物體移動，為沉浸式生成補上空間感。

當畫面中的車輛、人物或物件移動，聲音不應只在時間上同步，還要讓聽者感覺聲源位置一同改變。StereoBind 屬於聯合影片與音訊生成模型的研究項目，處理的正是立體聲與可見聲源之間的動態空間對應問題，面向 AR/VR、互動遊戲及沉浸式內容製作較有價值。

StereoBind 在預訓練的 joint audio-video generator 上加入視覺來源的 motion tracks，將畫面中的移動軌跡傳給音訊生成流程。Simple Summary Tokens 壓縮來源內容與動態資訊；Spatial Track Encoder（STE）編碼每個時間點的標準化 2D 位置；ResidualTrackRoPE 則把相對軌跡變化加入 temporal attention，令模型同時理解聲源所在位置及移動方向。

以軌跡連接視覺來源與 stereo audio
StereoWorld-29K 提供附帶 motion tracks 的立體聲影音資料
StereoWorldBench 用來量度聲音是否跟隨可見聲源
目標是改善空間對齊，同時保留整體影音品質

StereoWorld-29K 不只是訓練資料，亦包含由真實影片及軌跡控制合成場景整理而成的幾何監督；StereoWorldBench 則針對聲音與畫面來源在時間上的空間一致性作評估。項目資料稱實驗能大幅改善立體聲生成的空間對齊，但目前提供的資訊未列出具體分數、基準模型或延遲數據，因此未能判斷它在不同場景的實際優勢幅度。

GitHub 儲存庫目前仍屬公開發布前狀態，inference code、training code、設定檔、checkpoints、StereoWorld-29K 及評估套件尚未提供，亦沒有可照做的安裝流程。研究團隊、影音生成模型開發者，以及需要聲音方向隨畫面移動的 AR/VR 和遊戲製作流程，可以先把它理解成一套待公開的 trajectory-conditioned 聯合生成框架；現階段較適合閱讀研究概念及等待後續資源，而不是立即部署。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 多模態模型, 模型訓練, Video, World-Action Model, Audio, 框架, 庫, Dataset 數據集

Google Foresight：會議筆記與個人資料留在 Mac

2026 年 10 月 12 日

Foresight 在 Mac 本地聆聽會議、整理筆記，亦能按你的檔案即時回答問題。

開會時只需記下零碎提示，Google AI Edge Foresight 便可配合本機轉錄內容整理成較完整的會議筆記。工具支援 Google Meet、Zoom，以及面對面或離線對話，音訊和文字都在 Mac 處理，不必上傳雲端。

Foresight 亦能連接本地項目資料夾、Google Drive、參考文件、圖表、網頁連結和日曆，建立與工作相關的背景資料。對話期間，它可透過聊天檢索內容；Live Assistance 更會聆聽問題，在相關資料出現時主動顯示附有引用來源的 context cards，減少會議前準備和反覆確認資料的時間。

技術核心包括 740M 參數的 EmbeddingGemma 2。這個 on-device multimodal embedding model 會把文字、圖片、影片和音訊映射到同一向量空間，支援跨模態語意檢索；配合 Gemma 4，可在裝置上建立即時的 Retrieval-Augmented Generation（RAG）流程，避免網絡延遲。

會議轉錄、音訊與檔案留在 Mac
支援影片會議、面對面及離線對話
可把速記提示整理成完整筆記
支援跨文字、圖片、影片和音訊檢索
具備聊天及 Live Assistance 兩種取用資料方式

頁面提供 macOS 下載入口。需要高度重視資料私隱、又經常在多個本地檔案之間切換的人，較容易感受到這種本機 AI 工作流的便利。

項目主頁

Categories: AI productions, RAG, Embedding, 多模態模型, Google, Gemini, Video, Image, Audio, 工具, Mac

JEPA 以潛在世界模型加速機器人決策

2026 年 10 月 11 日

JEPA 不再逐幀生成畫面，而是在抽象特徵中預測世界如何變化，降低機器人規劃的算力成本。

機器人或自動駕駛系統需要預測動作帶來的後果，單靠文字推理難以掌握物體移動、空間關係與物理變化。聯合嵌入預測架構（Joint Embedding Predictive Architecture，JEPA）屬於潛在動態世界模型，直接在抽象特徵空間推演未來狀態，避開逐步生成高解析度畫面的成本。

世界模型通常要完成渲染、模擬與規劃三類工作，JEPA 主要集中於模擬和預測。它不重建像素，而是從視覺或感測資料抽取高層次表徵，再預測下一個潛在狀態；這種做法有助減少噪聲影響，亦讓智能體能在較低成本下進行多步策略推演。

文章將世界模型分為三大類：直接生成未來觀測的模型、在潛在空間運作的模型，以及明確表示物件、深度和幾何佔據的結構化模型。JEPA、I-JEPA、V-JEPA 和 DINO-WM 屬於預測表徵路線，Dreamer 和 PlaNet 則以重構型狀態空間支援想像式訓練。

JEPA 適合機器人快速規劃及強化學習 roll-out
不生成像素，換取較低算力需求和較高推演效率
視覺生成模型較擅長畫面還原，JEPA 偏向狀態預測
自動駕駛仍可能需要結合 OccWorld 等空間幾何模型

選擇架構時要視乎瓶頸在視覺逼真度、運算預算，還是 3D 空間與物理精準度。JEPA 能有效處理抽象動態，但若項目需要可視化未來畫面或精確描述物體幾何，便可能要配合觀測生成模型或結構化世界模型。

項目主頁

Categories: AI productions, 多模態模型, 世界模型, Google, NVIDIA, 強化學習

OneSearch-VL：多模體視覺 deep research agent

2026 年 10 月 10 日

由單張相片到影片片段，OneSearch-VL 會找出視覺線索、搜尋外部資料，再把證據串成可核對的答案。

由一張相片、相片集合到影片片段，OneSearch-VL 會先定位視覺線索，再檢索外部知識，將相關證據組合成答案。它屬於多模態 deep research agent，處理的是影像內容理解與資料查證之間難以銜接的工作。

核心是 Visually Grounded Evidence Graph（VGEG），把視覺錨點、來源支持的事實和產生答案所需的操作連在一起。VGEG 亦支援資料建立及驗證；Evidence-aware Visual-Grounded Rubric reward（EVGR）則在強化學習中監督證據是否可追溯，以及答案有沒有真正對應影像內容。

項目提供 OneSearch-MI-Bench 和 OneSearch-Video-Bench，分別面向多圖及影片研究能力。輸入資料未列出具體分數或模型名稱，因此不能把它描述成已全面勝過其他視覺研究方案；它較適合用作研究原型、訓練資料管線和 agentic workflow 的基礎。

OneSearch-VL 包含 Agentic SFT、Agentic RL、推理及評估相關目錄，並標示 Python 3.11+；先準備模型、資料集和外部工具，再執行訓練或評估流程。對需要查核圖片來源、比較多張圖片，或從影片整理證據的研究團隊，這種統一處理方式較容易整合到既有工作流，但部署成本和工具依賴仍要自行確認。

• 同時支援單圖、多圖集合及影片
• 以 VGEG 統一視覺線索與外部證據
• EVGR 強調證據可追溯及視覺對齊
• 提供多圖與影片專用 benchmark
• 支援 SFT、RL、推理和評估流程

GitHub · 模型

Categories: 開源, Agentic, AI productions, 模型, 視覺模型, 多模態模型, 模型訓練, Video, Image, 工具, Python, 庫, Dataset 數據集, 強化學習

Page 4 of 29

« Previous 1 2 3 4 5 6 … 29 Next »