視覺編碼器愈變愈大，準確度換來的是推論成本與延遲同時膨脹，特別是高解析度圖片與長影片情境。MoE-ViE 想打破這個取捨：把 Mixture-of-Experts（MoE）機制引入 CLIP 風格的對比預訓練流程，讓模型總容量擴大，但每張圖、每段片只啟用一部分專家，把容量與實際計算脫勾。

與一般 MoE 不同，MoE-ViE 採用細粒度專家拓樸（fine-grained MoE topology），並提出一個無輔助損失（auxiliary-loss-free）的變體來平衡專家負載，避免傳統 MoE 常見的負載不均問題。同時，作者針對 MoE 額外開銷撰寫了專門的 Triton kernel，把推論延遲拉回接近密集模型的水準。

項目以 Vision Transformer 骨幹搭配上述 MoE 設計，配合穩健的對比預訓練流程（contrastive pretraining recipe），一口氣釋出 B / L / H 三個尺寸的模型，覆蓋 224 / 384 / 448px 解析度。在 ImageNet-1k、ObjectNet、COCO 文字檢索圖片、Kinetics-400、MSR-VTT 文字檢索影片等基準上，零樣本表現與各項強 CLIP baseline 相當甚至更佳，其中 H/14 版本在保持約 76% 延遲的情況下，貼近體型大 1.7 倍的 SOTA 編碼器。當對接 LLM 組成視覺語言模型時，MoE-ViE 在圖像與影片基準上亦勝過多個啟用參數多達 5 倍的編碼器。

另一個針對影片能力的處理方式是 frame-level distillation 加上一個新設計的凍結機制，目的是在引入影片理解的同時保留原本學到的圖像知識。這個步驟令同一組視覺編碼器可以同時服務圖像與影片任務，而不必訓練兩套模型。

重點摘要：

• MoE 化的 CLIP 風格視覺編碼器：以 Mixture-of-Experts Vision Transformer 配合對比預訓練，支援 B / L / H 三種規模。
• 細粒度專家拓樸 + 無輔助損失平衡：避免傳統 MoE 的專家負載不均，並以自訂 Triton kernel 控制推論延遲。
• 圖像與影片兼顧：frame-level distillation 配合新凍結機制，讓單一編碼器同時處理圖像與影片理解。
• 對接 LLM 後仍具競爭力：在多項圖像與影片基準上，表現勝過啟用參數多達 5 倍的既有編碼器。
• 官方釋出代碼與零樣本評測套件：提供模型定義、配置檔與可重現的零樣本評估流程，惟授權為 CC BY-NC 4.0，需留意非商用限制。

本項目由 Meta 團隊發佈。需要留意的是授權為 CC BY-NC 4.0，僅限非商用場景使用；訓練細節、資料組成與對齊 LLM 的實作屬研究配置，重現成本不低，較適合作研究基準而非即取即用的產品元件。

GitHub · 模型