Confucius4-R2T2:即時語音辨識

開源串流 ASR 模型以 160 毫秒更新文字,並把未確認部分留在內部,減少字幕閃動與後續重寫。

Confucius4-R2T2

即時字幕最惱人的問題,不只是慢,而是文字一邊出、一邊改。Confucius4-R2T2 針對這個矛盾,採用只追加、不回頭修訂的穩定前綴(Stable Prefix)串流設計,已確認的文字永久提交,未確認內容則留在模型內部,適合直播字幕、即時傳譯及接入 Large Language Model(LLM)的語音流程。

這是一個開源的低延遲自動語音辨識(Automatic Speech Recognition,ASR)模型,源自 Qwen3-ASR-1.7B,透過 Longest Stable Prefix(LSP)學習及 1,500 小時中英文音訊訓練。解碼區塊可設為 80 毫秒至 2 秒,權重優先與延遲優先模式均只輸出已提交內容,並可加入主題及詞彙提示。

  • 160 毫秒(10 分之一秒)解碼、每次保留一個暫存 token 時,辨識錯誤率為 5.76%。
  • 相同串流設定下,基礎模型錯誤率為 21.01%。
  • 完整上下文參考結果的錯誤率是 5.15%,差距已相當接近。
  • 同一個 checkpoint 支援完整上下文及串流辨識,涵蓋 13 組中英文測試集。
  • 項目提供 vLLM、Hugging Face transformers 離線路徑,亦可選擇 llama.cpp 解碼。

它並非把所有即時輸出都交給下游處理,而是以 Longest Stable Prefix(LSP)學習配合 Wait 動作,訓練模型分辨哪些內容可以提交、何時需要更多音訊。訓練分為 SFT 與 GRPO 兩階段,只更新語言解碼器,音訊編碼器及 projector 保持凍結,亦沒有改變原有架構。

取捨主要落在準確度與輸出延遲之間:調整解碼區塊和暫存 token 預算即可改變兩者關係,毋須重新訓練。專注即時字幕、會議紀錄、同聲傳譯或需要即時觸發動作的 LLM Agent 團隊會較容易受惠;代價是已提交文字不能修訂,而且所報延遲未包括服務及網絡時間。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, Qwen, Audio, LLaMa, 語音