OCC-RAG :1.7B 小模型也能忠實回答問題

occ full

在大型語言模型動輒數百億參數的時代,OCC-RAG(Optimal Cognitive Core for RAG)反其道而行,主打體型輕巧但專注於「忠實、有引用的問答」。這個項目針對的場景很明確:模型拿到一組來源文件後,必須根據內容作答、附上引用編號,若資料不足以回答就老實回應「Not enough information」。

OCC-RAG 雖然還在開發初期,但它的研究方向和概念具有高度價值。

這個項目解決了檢索增強生成(RAG)系統中常見的「幻覺」與「編造來源」問題。OCC-RAG 在 Qwen3 基礎模型上以超過三百萬筆合成多上下文、多跳問答資料進行中期訓練,模型會先輸出結構化推理流程(query analysis → source analysis → reasoning → status → answer),再給出最終答案,每一步都可追溯。

技術報告顯示,OCC-RAG-0.6B 與 OCC-RAG-1.7B 在 HotpotQA、MuSiQue、TAT-QA 等多跳推理基準上,可與體型大 2 至 6 倍的通用模型打成平手甚至更佳;在 ConFiQA 忠實度指標上,於所有受測規模(最高至 32B)中都取得最佳成績。特別的是,它不需要昂貴的「思考模式」推論就能提供類似 chain-of-thought 的透明度,對硬體資源有限的團隊相當友善。

現時 Hugging Face 上已開源 OCC-RAG-0.6B 與 OCC-RAG-1.7B 兩個版本,適合需要嚴格引用規範的企業搜尋、客服問答、研究助理等應用。

重點摘要:

  • 忠實作答:只根據提供的上下文回答,ConFiQA 忠實度在所有受測規模中領先。
  • 校準式拒答:資料不足時自動輸出 Not enough information,避免胡亂推測。
  • 可追溯推理:每個答案附帶結構化推理鏈,並以編號標明引用來源。
  • 輕量高效:0.6B 與 1.7B 兩款小模型,不需思考模式即可達到高透明度。
  • 基於 Qwen3:以 Qwen3-0.6B-Base 與 Qwen3-1.7B-Base 為基礎中期訓練而成。

GitHub: https://github.com/optimal-cognitive-core/OCC-RAG

Paper: https://arxiv.org/pdf/2606.00683

Categories: 開源, 模型