視覺編碼器愈變愈大，準確度換來的是推論成本與延遲同時膨脹，特別是高解析度圖片與長影片情境。MoE-ViE 想打破這個取捨：把 Mixture-of-Experts（MoE）機制引入 CLIP 風格的對比預訓練流程，讓模型總容量擴大，但每張圖、每段片只啟用一部分專家，把容量與實際計算脫勾。

與一般 MoE 不同，MoE-ViE 採用細粒度專家拓樸（fine-grained MoE topology），並提出一個無輔助損失（auxiliary-loss-free）的變體來平衡專家負載，避免傳統 MoE 常見的負載不均問題。同時，作者針對 MoE 額外開銷撰寫了專門的 Triton kernel，把推論延遲拉回接近密集模型的水準。

項目以 Vision Transformer 骨幹搭配上述 MoE 設計，配合穩健的對比預訓練流程（contrastive pretraining recipe），一口氣釋出 B / L / H 三個尺寸的模型，覆蓋 224 / 384 / 448px 解析度。在 ImageNet-1k、ObjectNet、COCO 文字檢索圖片、Kinetics-400、MSR-VTT 文字檢索影片等基準上，零樣本表現與各項強 CLIP baseline 相當甚至更佳，其中 H/14 版本在保持約 76% 延遲的情況下，貼近體型大 1.7 倍的 SOTA 編碼器。當對接 LLM 組成視覺語言模型時，MoE-ViE 在圖像與影片基準上亦勝過多個啟用參數多達 5 倍的編碼器。

另一個針對影片能力的處理方式是 frame-level distillation 加上一個新設計的凍結機制，目的是在引入影片理解的同時保留原本學到的圖像知識。這個步驟令同一組視覺編碼器可以同時服務圖像與影片任務，而不必訓練兩套模型。

重點摘要：

• MoE 化的 CLIP 風格視覺編碼器：以 Mixture-of-Experts Vision Transformer 配合對比預訓練，支援 B / L / H 三種規模。
• 細粒度專家拓樸 + 無輔助損失平衡：避免傳統 MoE 的專家負載不均，並以自訂 Triton kernel 控制推論延遲。
• 圖像與影片兼顧：frame-level distillation 配合新凍結機制，讓單一編碼器同時處理圖像與影片理解。
• 對接 LLM 後仍具競爭力：在多項圖像與影片基準上，表現勝過啟用參數多達 5 倍的既有編碼器。
• 官方釋出代碼與零樣本評測套件：提供模型定義、配置檔與可重現的零樣本評估流程，惟授權為 CC BY-NC 4.0，需留意非商用限制。

本項目由 Meta 團隊發佈。需要留意的是授權為 CC BY-NC 4.0，僅限非商用場景使用；訓練細節、資料組成與對齊 LLM 的實作屬研究配置，重現成本不低，較適合作研究基準而非即取即用的產品元件。

GitHub · 模型

對需要同時理解文字與影像、甚至生成影像的模型來說，最難處理的不只是資料量，而是不同能力會否互相拖累。這項由 Meta FAIR、Reality Labs 與 University of Oxford 團隊進行的研究，以統一多模態預訓練為焦點，探討語言、視覺理解和視覺生成怎樣共同學習。

研究發現，跨模態知識流動並不對等。語言資料可普遍提升各類視覺任務；視覺理解會為影像生成提供強而有力的先驗知識；視覺生成對其他能力的直接幫助則較有限，主要透過加快低階概念學習，間接改善理解能力。團隊亦以 CLEVR 合成資料集配合真實世界資料，分辨不同概念之間的轉移方式。

• 語言可增強視覺理解與視覺生成能力
• 任務愈複雜，模態之間愈可能出現競爭
• 參數共享方式會改變不同模態能否產生協同效果
• 視覺路徑應由預訓練初期同步學習
• 延後加入視覺訓練，可能造成「vision laziness」

「vision laziness」指模型過度依賴語言捷徑，未有充分學習影像訊號。研究比較早期統一訓練、後期整合及順序式訓練後認為，視覺與語言由一開始共同演化，表現會較穩定；將視覺資料延後加入，即使模型其後接觸影像，也未必能補回早期錯失的表徵學習。

團隊把受控實驗得出的資料混合比例與擴展策略，套用至以 2T tokens 訓練的 13.5B Mixture-of-Experts（MoE）模型驗證。對設計多模態基礎模型的人而言，研究提供的價值不在單一架構，而是指出資料配比、任務難度、共享設計與整合時機，均會直接影響模型是否真正學會運用視覺。

項目主頁 · Paper