長時間錄音、直播字幕或語音助理最怕轉錄愈跑愈慢，甚至因上下文累積而出現漂移。Audio8 ASR Infinite 屬於原生串流語音識別模型，透過 rolling KV cache 將記憶體和延遲維持在有界範圍，支援 24/7 連續轉錄；目前支援中文及英文。
模型可在 80、120、160 ms 音訊時鐘之間選擇，每秒作出 12.5、8.3 或 6.25 次決策，並可將 transcription delay 設於 240 至 560 ms。延遲愈低，回應愈快；較長延遲則有較多時間累積語境。Semantic VAD 亦會分辨思考停頓、口吃和真正句末，減少傳統 acoustic VAD 過早截斷語句的問題。
架構承接 Voxtral realtime audio architecture 和 DSM-style streaming：Causal Audio Tower 以 Voxtral Realtime 4B 為初始權重，Audio Projector 及 Frame Length Embedding 由隨機初始化訓練，Decoder 和 LM Head 則採用 Qwen2.5-3B-Instruct。項目仍屬 preview release，後續會在同一 frame grid 加入即時語義感知。
- 適合直播字幕、長時間會議紀錄及持續運行的語音介面
- 可按硬件資源和回應要求調整音訊時鐘及延遲
- 目前資料未提供完整安裝流程、硬件需求或公開 benchmark 數據
- 使用 adapted vLLM build 才能對應無限長度串流運行
對需要低延遲、不中斷轉錄的團隊，這個模型的價值在於把速度、延遲可調性和長時間穩定運行放在同一個架構內，但正式採用前仍要自行測量廣東話支援、GPU 佔用及不同時鐘組合的辨識準確度。