VisionWeave 讓多模態模型按畫面分配細節

VisionWeave 按內容保留重要視覺細節,減少冗餘視覺 tokens,兼顧長影片理解效率與任務質素。

VisionWeave logo

長影片、圖表和文字密集畫面不需要每個位置都用同樣精細度處理。VisionWeave 屬於多模態模型(MLLMs)效率優化項目,讓模型按視覺內容決定保留細節或壓縮表示,處理視覺 tokens 過多所造成的成本與延遲問題。

VisionWeave 不是固定比例刪減 tokens,而是把 fine-grained 與 coarse-grained representations 編織起來,讓重要區域保留較多資訊、背景使用較緊湊的表示。項目針對 dense Qwen3.5 提供影像及影片 inference,評測則涵蓋 Qwen3.8-27B 與 Qwen3.5-4B,並比較 FastV、VisionZip 等固定預算方法。

Qwen3.8-27B 在八項 benchmark 平均節省 43.0% visual tokens,同時保留 98.9% 原生模型表現。於 SGLang、兩張 A100-80GB 和 BF16、TP=2 條件下,LongVideoBench throughput 由每分鐘 0.90 個請求升至 2.07 個,平均 TTFT 亦由 169.90 秒降至 77.54 秒。

  • 按畫面內容自動調節視覺表示粒度
  • 適合長影片、自然場景、圖表及文字密集影像
  • 在多項任務與不同輸入解析度下衡量效率與質素取捨
  • README 提供的 checkpoint 需另行取得,完整安裝流程在目前資料中未交代

研究團隊同時提供 image/video inference,但儲存庫資訊未列出下載連結、硬件最低要求或完整測試步驟,因此較適合作為研究評估和 SGLang serving 實驗起點。對需要處理長影片、多張影像或高解析度輸入的模型團隊,VisionWeave 提供了比固定 token 預算更靈活的壓縮方向;代價是要配合指定 Qwen 模型與額外 checkpoint,未必能直接套用到其他架構。

項目主頁 · GitHub

Categories: 開源, 多模態模型, Qwen, Video, Image, 庫, Dataset 數據集