ReFoCo:讓視覺 Transformer 學會「聚焦」

同一張圖中,不同注意力頭有時會看見相似內容,令特徵難以解讀。ReFoCo 透過訓練時加入區域聚焦目標,讓 Vision Transformer 學出更分工的空間注意力。

Repository image for yuji-nozawa/ReFoCo

在電腦視覺與自我監督學習(Self-Supervised Learning, SSL)的演進歷程中,Vision Transformer(ViT)憑藉 DINO 等對比學習框架,成功證明了神經網路無須人工標註即能習得豐富的語意概念。然而,當社群嘗試將這類模型直接下放到零樣本分割、精確目標定位等密集預測(Dense Prediction)任務時,卻常遭遇一個核心障礙:ViT 內部多頭注意力機制的表徵過於發散且同質化,缺乏清楚的局部邊界界定能力。

ReFoCo 以極簡的無監督損失函數,促成空間注意力頭的「專業化湧現」(Specialization Emergence):

兩組視覺聚焦損失(Visual Focusing Losses):

局部區域聚焦機制:約束特定注意力頭聚焦於緊湊的局部空間,強迫模型學習清晰的幾何線條與輪廓細節。

遮蔽殘留聚焦機制:在影像部分被遮蔽時,引導模型專注於未被遮蔽的有效可見區域,強化空間對齊穩定度與上下文感知。

零人工標籤的空間分工:在不消耗任何幾何標籤的前提下,各注意力頭自發演化出清晰分工——部分專門鎖定前景輪廓,部分專攻背景基質,部分捕捉細節紋理。

ReFoCo 將論文的數學定義封裝為模組化程式碼與預訓練權重,使開發者無須從零復現演算法,即可直接掛載至現有的視覺特徵提取流程。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 模型訓練, Image, Python, Dataset 數據集