Audio-Interaction 是一款由南洋理工大學（NTU）、新加坡國立大學（NUS）及香港中文大學（CUHK）共同研發的全開源音訊語言模型，屬於新一代的 Audio Interaction Model（音訊互動模型）。它以一個始終運行的感知—決策—回應循環（perceive-decide-respond loop）為核心，能即時聆聽環境聲音與指令，並自行判斷何時應該開口回應。

傳統的大型音訊語言模型大多只支援離線處理，而現有的串流模型一般只能做單一任務，例如即時語音辨識（streaming ASR）或語音聊天。Audio-Interaction 以單一架構同時覆蓋離線與即時任務，把辨識、翻譯、對話等不同功能統一在同一條串流中。這意味著開發者只需要一套模型，就能應付多種音訊互動場景。

這個項目的核心創新在於其訓練流程 SoundFlow。它能把短音訊片段拼接成長互動資料，並以「塊級決策訓練」（chunk-level decision training）配合歷史回顧與語意感知的靜音處理，讓模型學會「該不該說話」。在推論階段，SoundFlow 採用異步 FIFO 推論（asynchronous FIFO inference），使首幀延遲降低約 4.5 倍，帶來更流暢的即時體驗。

使用時，開發者可以直接從官方頁面取得技術報告與程式碼，並透過微信群組加入社群討論。該項目亦提供了即時試聽 Demo，可與 OpenAI 的 gpt-realtime 及字節跳動的 Seeduplex 進行同條件比較，在重複聲響計數、咳嗽辨識及音樂風格判斷等場景中，Audio-Interaction 能逐輪輸出有意義的回應。

Audio-Interaction 重點摘要：

• 統一架構：以單一模型同時支援離線與即時音訊任務，涵蓋辨識、翻譯及對話。
• 感知—決策—回應循環：模型自行判斷回應時機，貼近真實人機互動節奏。
• SoundFlow 訓練流程：結合資料拼接、塊級決策訓練與靜音感知，提升即時判斷能力。
• 低延遲推論：異步 FIFO 推論使首幀延遲降低約 4.5 倍。
• 完全開源：提供技術報告、程式碼及即時試聽 Demo，方便研究與應用。

這個項目特別適合從事語音 AI、對話系統及多模態互動研究的開發者與團隊，能為需要即時音訊理解的產品，例如智能助手、會議記錄、聽障輔助等，提供一個統一且靈活的基礎模型。

項目： https://xzf-thu.github.io/Audio-Interaction/

在大型語言模型動輒數百億參數的時代，OCC-RAG（Optimal Cognitive Core for RAG）反其道而行，主打體型輕巧但專注於「忠實、有引用的問答」。這個項目針對的場景很明確：模型拿到一組來源文件後，必須根據內容作答、附上引用編號，若資料不足以回答就老實回應「Not enough information」。

OCC-RAG 雖然還在開發初期，但它的研究方向和概念具有高度價值。

這個項目解決了檢索增強生成（RAG）系統中常見的「幻覺」與「編造來源」問題。OCC-RAG 在 Qwen3 基礎模型上以超過三百萬筆合成多上下文、多跳問答資料進行中期訓練，模型會先輸出結構化推理流程（query analysis → source analysis → reasoning → status → answer），再給出最終答案，每一步都可追溯。

技術報告顯示，OCC-RAG-0.6B 與 OCC-RAG-1.7B 在 HotpotQA、MuSiQue、TAT-QA 等多跳推理基準上，可與體型大 2 至 6 倍的通用模型打成平手甚至更佳；在 ConFiQA 忠實度指標上，於所有受測規模（最高至 32B）中都取得最佳成績。特別的是，它不需要昂貴的「思考模式」推論就能提供類似 chain-of-thought 的透明度，對硬體資源有限的團隊相當友善。

現時 Hugging Face 上已開源 OCC-RAG-0.6B 與 OCC-RAG-1.7B 兩個版本，適合需要嚴格引用規範的企業搜尋、客服問答、研究助理等應用。

重點摘要：

• 忠實作答：只根據提供的上下文回答，ConFiQA 忠實度在所有受測規模中領先。
• 校準式拒答：資料不足時自動輸出 Not enough information，避免胡亂推測。
• 可追溯推理：每個答案附帶結構化推理鏈，並以編號標明引用來源。
• 輕量高效：0.6B 與 1.7B 兩款小模型，不需思考模式即可達到高透明度。
• 基於 Qwen3：以 Qwen3-0.6B-Base 與 Qwen3-1.7B-Base 為基礎中期訓練而成。

GitHub： https://github.com/optimal-cognitive-core/OCC-RAG

Paper： https://arxiv.org/pdf/2606.00683

Mellum 2 是 JetBrains 推出的一系列輕量級語言模型，設計目標是讓 AI 推論過程更快、更省資源。相較於一般大型語言模型龐雜的體積，Mellum 走的是精簡路線，能在保持表現的同時，大幅降低回應時間，這對於需要即時互動的應用來說相當關鍵。

Mellum 2 是開放權重的 120 億參數混合專家 (MoE) 語言模型，每個詞元有 25 億個活躍參數。

這項目主要解決一個核心問題：如何在不犧牲太多準確度的前提下，讓語言模型的回應速度快到可以整合進日常工具中。例如 IDE（Integrated Development Environment，整合式開發環境）內的自動補全、程式碼提示等功能，往往需要模型在幾十毫秒內就給出結果，傳統大型模型很難做到這一點。

Mellum 2 的主要創新在於針對低延遲推論（ultra-low-latency inference）進行了架構與訓練流程的最佳化，讓模型在邊緣裝置或本地端環境也能順暢運行。JetBrains 將其定位為「real-world AI workloads」，意思是它不是只為研究而生的模型，而是真正要部署到生產環境的工具。

這套模型最適合的場景包括：需要即時回應的開發工具、需要本地端 AI 能力的企業應用，以及對成本敏感的批次處理任務。開發者可以透過 JetBrains 提供的資源將 Mellum 整合到自己的系統中，而無需依賴雲端的大型模型服務。

以下是 Mellum 2 的重點摘要：

• 輕量架構：模型體積小，適合在本地端或資源有限的環境運行。
• 低延遲推論：針對即時回應需求設計，回應速度遠快於一般大型語言模型。
• 生產導向：專為實際部署與整合而打造，非純研究用途。
• JetBrains 背書：由 IDE 領域知名團隊推出，與開發者工具生態有良好銜接。

整體而言，Mellum 2 代表了語言模型走向「小而快」的趨勢，讓更多場景能以合理成本享受到 AI 帶來的便利。

項目： https://www.jetbrains.com/mellum/

MVCHead 是一個聚焦 3D Gaussian head avatars 生成的研究項目，目標很清晰：不依賴 multi-view 資料、3D 掃描，甚至不需要中間視角生成，也能做出高擬真、multi-view consistent 的頭像。對非技術讀者來說，它想處理的問題就是：以往做這類 3D 人頭資產，通常要大量拍攝設備和昂貴流程，這個項目則希望用較少資源完成。

目前公開內容以論文與項目頁為主，程式碼、weights 及 FaceGS-10K dataset 仍標示為即將推出。現階段較適合先閱讀方法設計、觀察展示圖片與論文結果，了解它是否符合 AR/VR、telepresence、digital humans 或遊戲角色資產製作需求，再決定之後是否跟進測試。

它的核心做法，是用 single-shot state space model 直接在 3D 表徵裡約束 multi-view consistency，而不是先補中間視角。當中包含 Hierarchical State Space（HiSS）block、Hierarchical Bi-directional State Scan（HiBiSS），以及 SE(3) Multi-view Critic；前兩者負責由粗到細調整 3D Gaussians，後者則檢查不同自我渲染畫面是否像來自同一個 3D 結構。

• 只需 randomly sampled 2D images，毋須 multi-view data 或 3D supervision
• 生成重點放在 wrinkles、hair wisps、lip contours、eyes、accessories 等細節
• 論文表示在 perceptual quality 屬 state-of-the-art
• texture 與 geometric consistency 超越既有方法，shape consistency 則維持可比水平
• 另提出 FaceGS-10K，作為大規模 3D Gaussian head assets 資料集

這個項目特別適合研究 3D 頭像生成、虛擬人、低資源內容製作流程的人留意。若你期待的是可立即部署的生產工具，現時資訊仍偏研究導向；但若你關心 3D head models 怎樣擺脫多視角拍攝依賴，MVCHead 展示的方向相當具前瞻性。

GitHub： https://github.com/humansensinglab/MVCHead

項目： https://humansensinglab.github.io/MVCHead/

ViGeo 是一個用來估算場景幾何的項目，輸入可以是影片片段，也可以是單張影像。它會輸出 depth、3D points、normals、confidence，處理連續影格時亦可估算 camera poses，重點是盡量保持時間上的一致性，減少前後幀結果跳動。

使用這個項目時，先按手頭資料選擇模式：完整影片可用 offline，串流畫面可用 online，長影片則可分段用 chunk 處理。這種安排對做影片重建、機械人感知、AR、導航或後期視覺分析的人較實用，因為不需要為不同輸入形式換另一套模型。

它想解決的核心問題，是影片幾何估計常見的兩難：不是短片效果好但難以串流，就是能即時推理但長時間一致性不足。ViGeo 以同一個 feed-forward foundation model 統一 full-sequence reconstruction、streaming inference 與 long-video inference，論文指出關鍵在 dynamic chunking attention，讓模型可因應測試情境切換時間關注方式，而不用重新訓練。

另一個重要部分是 VideoLDCM，完整名稱是 VideoLDCM，負責 depth completion。它在這項工作中用作 data-refinement model，把稀疏或帶雜訊的深度觀測整理成較乾淨的 dense depth supervision，對訓練幾何模型有幫助，也解釋了為何這個項目不只看單幀品質，還強調跨影格穩定性。

• 同時支援 offline、online、chunk 三種推理流程
• 可由影片或單張影像估算 depth、3D points、normals 等結果
• 以 dynamic chunking attention 兼顧串流與長影片處理
• 結合 VideoLDCM 改善深度監督資料品質
• 論文聲稱在多項 video geometry 任務達到 state-of-the-art

性能方面，論文描述它在 online、offline、long-video depth estimation、surface normal estimation、video point map estimation 都有很強表現，並以 public datasets 訓練。不過目前公開 checkpoint 亦已註明存在已知 loss implementation 問題，可能在 camera poses 視覺化與遠距區域出現輕微瑕疵，因此較適合先用來理解能力範圍，再決定是否放入要求很高的生產流程。

GitHub： https://github.com/aigc3d/ViGeo

項目： https://pkqbajng.github.io/ViGeo/