Audio-Interaction 是一款由南洋理工大學（NTU）、新加坡國立大學（NUS）及香港中文大學（CUHK）共同研發的全開源音訊語言模型，屬於新一代的 Audio Interaction Model（音訊互動模型）。它以一個始終運行的感知—決策—回應循環（perceive-decide-respond loop）為核心，能即時聆聽環境聲音與指令，並自行判斷何時應該開口回應。

傳統的大型音訊語言模型大多只支援離線處理，而現有的串流模型一般只能做單一任務，例如即時語音辨識（streaming ASR）或語音聊天。Audio-Interaction 以單一架構同時覆蓋離線與即時任務，把辨識、翻譯、對話等不同功能統一在同一條串流中。這意味著開發者只需要一套模型，就能應付多種音訊互動場景。

這個項目的核心創新在於其訓練流程 SoundFlow。它能把短音訊片段拼接成長互動資料，並以「塊級決策訓練」（chunk-level decision training）配合歷史回顧與語意感知的靜音處理，讓模型學會「該不該說話」。在推論階段，SoundFlow 採用異步 FIFO 推論（asynchronous FIFO inference），使首幀延遲降低約 4.5 倍，帶來更流暢的即時體驗。

使用時，開發者可以直接從官方頁面取得技術報告與程式碼，並透過微信群組加入社群討論。該項目亦提供了即時試聽 Demo，可與 OpenAI 的 gpt-realtime 及字節跳動的 Seeduplex 進行同條件比較，在重複聲響計數、咳嗽辨識及音樂風格判斷等場景中，Audio-Interaction 能逐輪輸出有意義的回應。

Audio-Interaction 重點摘要：

• 統一架構：以單一模型同時支援離線與即時音訊任務，涵蓋辨識、翻譯及對話。
• 感知—決策—回應循環：模型自行判斷回應時機，貼近真實人機互動節奏。
• SoundFlow 訓練流程：結合資料拼接、塊級決策訓練與靜音感知，提升即時判斷能力。
• 低延遲推論：異步 FIFO 推論使首幀延遲降低約 4.5 倍。
• 完全開源：提供技術報告、程式碼及即時試聽 Demo，方便研究與應用。

這個項目特別適合從事語音 AI、對話系統及多模態互動研究的開發者與團隊，能為需要即時音訊理解的產品，例如智能助手、會議記錄、聽障輔助等，提供一個統一且靈活的基礎模型。

項目： https://xzf-thu.github.io/Audio-Interaction/

在大型語言模型的後訓練階段，強化學習可驗證獎勵（RLVR）已是數學與程式推理的常用配方。然而當獎勵只給到序列層級，模型在訓練初期容易遇到訊號稀疏、優勢值為負時不穩定的問題。SDPG（Self-Distilled Policy Gradient）正是針對這兩個痛點而設計的開源項目。

這個項目將 GRPO 擴展為一種自我蒸餾式的策略梯度方法：在同一個模型中，學生只接收問題，而教師額外接收特權脈絡 c。兩者之間以 full-vocabulary 的 token-level KL 散度即時計算蒸餾訊號，為訓練提供更密集的監督；同時結合標準差歸一化與可切換的 α 參考正則化，以提升訓練穩定性。由於學生與教師共享同一組參數，整體設計也避免了額外部署大型教師模型所帶來的記憶體負擔。

環境需要 8 張 A100、H100 或 H200，以及本地 Ray 叢集；預設模型為 Qwen/Qwen3-4B，亦可指向本地權重。資料格式採用特殊 token 分隔演員題目與教師脈絡，相關腳本皆已附上。對正在研究 RLHF 或想把推理模型蒸餾得更穩定的團隊而言，這是一個門檻明確、可重現的實作藍本。

重點摘要

• 在 GRPO 之上加入 exact per-token forward KL 自我蒸餾，緩解稀疏獎勵問題
• 學生與教師共用同一模型，免去大型教師的額外記憶成本
• 內建四種 α 正則模式（fkl、rkl、ufkl、urkl），方便消融實驗
• 預設支援 Qwen/Qwen3-4B，可在 verl RLHF 框架上直接運行
• 硬體門檻為 8 張 A100/H100/H200，搭配本地 Ray 叢集即可啟動

GitHub： https://github.com/lauyikfung/SDPG

Paper： https://arxiv.org/pdf/2606.04036

在大型語言模型動輒數百億參數的時代，OCC-RAG（Optimal Cognitive Core for RAG）反其道而行，主打體型輕巧但專注於「忠實、有引用的問答」。這個項目針對的場景很明確：模型拿到一組來源文件後，必須根據內容作答、附上引用編號，若資料不足以回答就老實回應「Not enough information」。

OCC-RAG 雖然還在開發初期，但它的研究方向和概念具有高度價值。

這個項目解決了檢索增強生成（RAG）系統中常見的「幻覺」與「編造來源」問題。OCC-RAG 在 Qwen3 基礎模型上以超過三百萬筆合成多上下文、多跳問答資料進行中期訓練，模型會先輸出結構化推理流程（query analysis → source analysis → reasoning → status → answer），再給出最終答案，每一步都可追溯。

技術報告顯示，OCC-RAG-0.6B 與 OCC-RAG-1.7B 在 HotpotQA、MuSiQue、TAT-QA 等多跳推理基準上，可與體型大 2 至 6 倍的通用模型打成平手甚至更佳；在 ConFiQA 忠實度指標上，於所有受測規模（最高至 32B）中都取得最佳成績。特別的是，它不需要昂貴的「思考模式」推論就能提供類似 chain-of-thought 的透明度，對硬體資源有限的團隊相當友善。

現時 Hugging Face 上已開源 OCC-RAG-0.6B 與 OCC-RAG-1.7B 兩個版本，適合需要嚴格引用規範的企業搜尋、客服問答、研究助理等應用。

重點摘要：

• 忠實作答：只根據提供的上下文回答，ConFiQA 忠實度在所有受測規模中領先。
• 校準式拒答：資料不足時自動輸出 Not enough information，避免胡亂推測。
• 可追溯推理：每個答案附帶結構化推理鏈，並以編號標明引用來源。
• 輕量高效：0.6B 與 1.7B 兩款小模型，不需思考模式即可達到高透明度。
• 基於 Qwen3：以 Qwen3-0.6B-Base 與 Qwen3-1.7B-Base 為基礎中期訓練而成。

GitHub： https://github.com/optimal-cognitive-core/OCC-RAG

Paper： https://arxiv.org/pdf/2606.00683