面對人物、地點或物件，KB-VQA 若只按圖片外觀搜尋，容易因視角、年代和風格變化搵錯資料。KBMR 屬於面向 Knowledge-Based Visual Question Answering（KB-VQA）的多模態模型檢索器，實際處理的是「畫面相似但實體不同」的證據搜尋問題。
KBMR 先由 EVA-CLIP-8B 篩選候選，再以 MLLM-based Semantic Discriminator 為查詢與候選產生連續的 entity-consistency weights。Qwen2-VL-7B 以這些語義訊號訓練 embedding retriever，並透過 symmetric KL distillation，令 cosine similarity 得出的 retriever posterior 與 discriminator weights 形成的 semantic prior 對齊。
重點整理為：
– 由 surface-level visual matching 改為 entity-aligned semantic retrieval。
– 連續權重可支援較可靠的 hard-negative mining 和 soft supervision。
– 替換原有 first-stage retriever，毋須改動下游 reasoning 或 reranking。
– 不同 KB-VQA pipeline 的端到端答案準確率最高提升 9.4 個百分點。
這種取捨適合已有 KB-VQA、外部知識庫和後續推理流程的研究團隊，因為 KBMR 主打 plug-and-play 替換檢索器，而不是重新設計整條系統。KBMR 列出 Python 3.10+、EVA-CLIP-8B 及 Qwen2-VL-7B 等準備項目，亦包括訓練和評估章節；目前已提供完整安裝指令、模型取得方式及獨立推理流程。