Microsoft Mage-VL-Cowork:以 4B 模型兼顧影片理解與電腦操作

Mage-VL-Cowork 是一個 4B 多模態模型家族涵蓋影片理解、影像生成和 GUI 電腦操作,並以較少視覺 token 處理長影片。當中 Mage-VL-Cowork 在 OSWorld-Verified 取得 66.0%。

gallery

要分析長影片、生成或編輯影像,甚至操作桌面程式,通常需要不同模型和工作流程。Microsoft Mage 把這些能力放進 4B 參數的多模態模型家族,供研究團隊進行受控實驗、後訓練研究及垂直領域應用;它屬於模型系列。

三個模型各有分工:Mage-VL 處理圖像與影片理解,Mage-Flow 負責影像生成和編輯,Mage-VL-Cowork 則在同一個策略模型內結合圖形介面、程式碼和終端機操作。這種混合式電腦操作讓模型可按任務選擇點擊畫面或執行程式碼,而不是交由外部協調器切換不同代理。

影片處理的主要取捨,是減少冗餘影格資訊,同時保留時間與動作線索。Mage-VL 從零訓練視覺堆疊,採用 16×16 的 I/P 預測式 patch 機制,將視覺 token 用量降至密集影格取樣的八分之一或更少;項目報告稱,這令影片訓練時間可延長至 8 倍,推理速度最高提升 3.5 倍。以固定的 4B Qwen3 骨幹比較,Mage-ViT 在所有已報告的影片及時間定位基準測試中勝過 Qwen3-VL-4B,但靜態圖像表現則大致相若。

OSWorld-Verified 的測試中,Mage-VL-Cowork 在 50 步預算下取得 66.0%;強化學習訓練帶來 10.16 個百分點提升,並令模型呼叫減少 13%、輸出 token 減少 25.4%。另一項實驗結果指出,Mage-VL 在 VSI-Bench 領先 11.0 分,顯示其優勢較集中於影片理解和空間智能。

研究人員可按任務選用相應模型與程式碼,測試影片理解、生成編輯或混合式電腦操作;Mage-VL-Cowork 的訓練流程亦涵蓋資料合成、監督微調與強化學習。適合有能力配置模型環境的研究團隊,以及探索有限算力多模態應用的開發者。

  • 三個 4B 模型分別涵蓋圖像與影片理解、影像生成編輯、混合式電腦操作。
  • 預測式 patch 機制減少影片視覺 token,換取更長訓練影片與較快推理。
  • Mage-VL-Cowork 在 OSWorld-Verified 以 50 步預算取得 66.0%,同時減少模型呼叫與輸出 token。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 多模態模型, 模型訓練, 微軟, Video, Image, 庫, 強化學習