在大型語言模型動輒數百億參數的時代，OCC-RAG（Optimal Cognitive Core for RAG）反其道而行，主打體型輕巧但專注於「忠實、有引用的問答」。這個項目針對的場景很明確：模型拿到一組來源文件後，必須根據內容作答、附上引用編號，若資料不足以回答就老實回應「Not enough information」。

OCC-RAG 雖然還在開發初期，但它的研究方向和概念具有高度價值。

這個項目解決了檢索增強生成（RAG）系統中常見的「幻覺」與「編造來源」問題。OCC-RAG 在 Qwen3 基礎模型上以超過三百萬筆合成多上下文、多跳問答資料進行中期訓練，模型會先輸出結構化推理流程（query analysis → source analysis → reasoning → status → answer），再給出最終答案，每一步都可追溯。

技術報告顯示，OCC-RAG-0.6B 與 OCC-RAG-1.7B 在 HotpotQA、MuSiQue、TAT-QA 等多跳推理基準上，可與體型大 2 至 6 倍的通用模型打成平手甚至更佳；在 ConFiQA 忠實度指標上，於所有受測規模（最高至 32B）中都取得最佳成績。特別的是，它不需要昂貴的「思考模式」推論就能提供類似 chain-of-thought 的透明度，對硬體資源有限的團隊相當友善。

現時 Hugging Face 上已開源 OCC-RAG-0.6B 與 OCC-RAG-1.7B 兩個版本，適合需要嚴格引用規範的企業搜尋、客服問答、研究助理等應用。

重點摘要：

• 忠實作答：只根據提供的上下文回答，ConFiQA 忠實度在所有受測規模中領先。
• 校準式拒答：資料不足時自動輸出 Not enough information，避免胡亂推測。
• 可追溯推理：每個答案附帶結構化推理鏈，並以編號標明引用來源。
• 輕量高效：0.6B 與 1.7B 兩款小模型，不需思考模式即可達到高透明度。
• 基於 Qwen3：以 Qwen3-0.6B-Base 與 Qwen3-1.7B-Base 為基礎中期訓練而成。

GitHub： https://github.com/optimal-cognitive-core/OCC-RAG

Paper： https://arxiv.org/pdf/2606.00683

Mellum 2 是 JetBrains 推出的一系列輕量級語言模型，設計目標是讓 AI 推論過程更快、更省資源。相較於一般大型語言模型龐雜的體積，Mellum 走的是精簡路線，能在保持表現的同時，大幅降低回應時間，這對於需要即時互動的應用來說相當關鍵。

Mellum 2 是開放權重的 120 億參數混合專家 (MoE) 語言模型，每個詞元有 25 億個活躍參數。

這項目主要解決一個核心問題：如何在不犧牲太多準確度的前提下，讓語言模型的回應速度快到可以整合進日常工具中。例如 IDE（Integrated Development Environment，整合式開發環境）內的自動補全、程式碼提示等功能，往往需要模型在幾十毫秒內就給出結果，傳統大型模型很難做到這一點。

Mellum 2 的主要創新在於針對低延遲推論（ultra-low-latency inference）進行了架構與訓練流程的最佳化，讓模型在邊緣裝置或本地端環境也能順暢運行。JetBrains 將其定位為「real-world AI workloads」，意思是它不是只為研究而生的模型，而是真正要部署到生產環境的工具。

這套模型最適合的場景包括：需要即時回應的開發工具、需要本地端 AI 能力的企業應用，以及對成本敏感的批次處理任務。開發者可以透過 JetBrains 提供的資源將 Mellum 整合到自己的系統中，而無需依賴雲端的大型模型服務。

以下是 Mellum 2 的重點摘要：

• 輕量架構：模型體積小，適合在本地端或資源有限的環境運行。
• 低延遲推論：針對即時回應需求設計，回應速度遠快於一般大型語言模型。
• 生產導向：專為實際部署與整合而打造，非純研究用途。
• JetBrains 背書：由 IDE 領域知名團隊推出，與開發者工具生態有良好銜接。

整體而言，Mellum 2 代表了語言模型走向「小而快」的趨勢，讓更多場景能以合理成本享受到 AI 帶來的便利。

項目： https://www.jetbrains.com/mellum/