以往做視覺語言定位，多數流程都要你先講明想搵邊句字，模型再喺圖入面指出對應區域。ConCor-1 索性反轉呢個做法：畀一張圖同一段文字，無論係完整描述、指代表達，定係一列類別名，模型都會自己判斷邊段文字同圖入面邊個物件對得上，然後一次過畀齊文字遮罩、實例遮罩同對應分數。研究團隊由華盛頓大學、Allen Institute for AI 同 Meta FAIR 組成，模型基於預訓練視覺語言模型，再加上一組可學習嘅 bridge tokens 嚟代表候選對應。
呢種設計最大嘅實用價值，係省卻前置標註嘅工序。當你手上得一段長 caption 或者一大串類別名，傳統方法往往要逐句拆開再分批餵入，ConCor-1 直接當作一次對應預測處理，文字分割、影像分割、跨模態對齊三件事一齊做。佢將 phrase grounding、referring expression 同 open-vocabulary detection 收納成同一格式，等訓練同評測可以用統一數據集比較。
ConCor-1 喺長 caption 數據集上將 correspondence F1 提升 48%，喺零樣本 LVIS、即用大類別清單當文字輸入嘅場景亦提升 29%。Hugging Face 上已有模型權重、數據、Space Demo，源代碼以 Apache 2.0 發佈。對做細粒度理解、自動化標註，或者想整合長描述入視覺流程嘅團隊，呢個框架值得留意；想自行重現訓練嘅人就要再等等，現階段主要提供推論程式碼同評測即將推出。
重點摘要
- 雙向概念對應：毋須預先指明文字，直接輸出文字遮罩、實例遮罩同對應分數
- 統一格式：將 phrase grounding、referring expression、open-vocabulary detection 收成單一預測任務
- 基於 bridge tokens：喺預訓練視覺語言模型上加可學習 token 代表候選對應
- 顯著提升：長 caption F1 提升 48%，零樣本 LVIS F1 提升 29%
- 開源配套：模型權重、數據、Space Demo 同推論程式碼已於 Hugging Face 同 GitHub 公開
適合需要從圖文配對中抽取結構化對應、做自動化標註、或研究視覺語言定位框架嘅讀者。ConCor-1 將文字分割、影像分割同跨模態對齊壓成單一任務，特別適合處理長描述或大類別清單等場景。