[技術文章]StepAudio 3 Realtime：邊講邊思考的即時語音模型

2026 年 9 月 16 日 Share to X Copy link

StepFun 推出 StepAudio 3 Realtime API，用「邊講邊想」機制打破語音對話的延遲與深度矛盾，做到即時回應同時保持複雜推理能力。

StepAudio 3 Realtime API 由 StepFun-Audio 團隊開發，定位為音頻語言基礎模型，專門處理實時語音互動中最棘手的取捨：既要快速回應，又要進行深度推理。傳統語音助手往往犧牲思考深度換取低延遲，這套模型用「Think-While-Speaking」（邊講邊想）機制，讓模型在語音輸出的同時私下執行推理，從而兼顧即時性與邏輯深度。

整體架構圍繞連續的「聆聽—對話—思考—行動」循環運作。Deep Perception 模組負責捕捉豐富的聲學線索，理解用戶意圖；Seamless Duplex 模組則同步處理音頻流，妥善應對停頓、插話、打斷等自然對話現象。在推理模式下，模型在 StepAudioChat 基準達到 73.0 的宏觀平均分數，啟用 Think-While-Speaking 後，對話與推理表現可媲美專門的推理模型，同時保持即時語音輸出。

這套方案的核心矛盾在於延遲與推理深度的對立，Think-While-Speaking 的並行設計試圖打破這個零和遊戲，讓語音助手不再需要在「答得快」與「答得深」之間二選一。

重點摘要：
– 核心架構：Deep Perception + Seamless Duplex + Think-While-Speaking 機制
– 效能表現：StepAudioChat 基準 73.0 宏觀平均分，推理模式對標專用推理模型
– 設計目標：解決語音對話中低延遲與深度推理的傳統矛盾
– 開發團隊：StepFun-Audio Team（StepFun 旗下）

項目主頁 · Paper

Categories: Agentic, Audio, 語音

---

jarvis-voice-butler：識睇住嘢同你傾偈 + 開瀏覽器幫你查資料

2026 年 9 月 13 日 Share to X Copy link

用講嘢就可以叫 AI 幫你上網、搜尋、填表，仲配上一把英式管家口吻。這個項目把 LiveKit Agents、Google Gemini Live 同 Playwright 串成一套聲控代理人。

聲控助手最麻煩嘅地方，往往係講完一句佢就要重新聽成段指令，又或者根本無法直接代你落手做嘢。Jarvis 直接針對呢個卡位，把 LiveKit Agents 框架、Google Gemini 3.1 Flash Live 即時語音模型，同 Playwright 操控嘅 Chromium 瀏覽器三樣嘢扣埋一齊。你可以理解成一個識講英式冷笑話嘅 AI 管家：你開口叫佢搜尋資料、撳掣、打字、捲頁、讀網頁內容，佢都會即時用「Enceladus」把聲回應你，過程仲支援自適應打斷同搶先生成。

對比起一般只能對答嘅語音 bot，呢個項目最大嘅突破係將語音輸入直接打通到瀏覽器操作層。佢內建十一個工具，包括開網址、搜尋、讀取同檢查頁面、撳掣、打字、捲動、撳掣鍵同截圖，仲有一個 confirm_browser_action 安全閘，去處理會造成實際後果嘅動作，例如提交表單或者刪除資料。視訊鏡頭輸入亦支援，等 AI 可以「睇到」你。

How to build a JARVIS AI Voice Agent for FREE | Full Livekit Tutorial (2026)

如果你想由頭砌起，作者用 uv 管理 Python 依賴，前端就用 Next.js 加 React，而家嘅程式庫亦用 Python 寫評估測試，覆蓋代理行為、瀏覽器操作同 prompt 表現。前端介面跟住會播一段自訂粒子動畫，連 Flutter 手機客戶端都一齊包埋，等你可以用手機當遙控。

呢類項目最適合做內部自動化研究助理，或者需要示範 Computer-use agents（CUAs）點樣融入聲音介面嘅團隊。值得留意嘅限制係實作仍處於早期階段，prompt 同安全策略都係寫死嘅版本，如果你想用佢處理高風險任務，仍然要自行加多一層審批同監察。

GitHub

Categories: 開源, Agentic, Google, Gemini, Audio, 框架, 工具, Python, 庫, 語音, 動畫

---

騰訊混元開源 AuK：1.5B 模型統一語音生成與編輯

2026 年 9 月 10 日 Share to X Copy link

騰訊混元把零樣本 TTS、語音編輯、分離與增強收進同一個自然語言指令介面，並同步釋出追求速度的蒸餾版本 AuK-Flash。

語音模型一直存在一個尷尬：零樣本合成、語音克隆、音色替換、分離、降噪往往是幾套獨立系統，要串起來就得堆 pipeline。騰訊 Hunyuan 開源的 AuK 想打破這個分工，以 1.5B 參數的基礎模型為核心，讓一句自然語言指令直接對應到編輯後或生成的音訊。

AuK 由三部分組成：負責語義條件的多模態語言模型、提供聲學潛在空間的 50 Hz VAE，以及一個混合 rectified-flow Transformer，用雙流 MMDiT 塊融合兩種條件後再做單流 DiT 生成。訓練數據規模相當可觀——約 30.3 億條指令-音訊配對，加上約 195 萬小時的有效監督，覆蓋五大任務族：語音生成、內容編輯、增強與分離、副語言資訊編輯、聲學編輯。

同步釋出的 AuK-Flash 走速度路線：透過一致性初始化加上任務路由的 Decoupled DMD 蒸餾，做到 NFE=4、無 CFG 的 4 步推論，官方指在匹配條件下對比完整 AuK 有約 4.5 倍 wall-clock 加速，質量接近教師模型。這個分層策略對需要即時語音生成的應用場景（如對話 agent、實時配音）有直接意義。

部署層面，官方同時提供 Hugging Face Space、ModelScope Space、Gradio 互動介面、ComfyUI 節點、Python API，以及 uv 和 Conda 兩種依賴管理方式，並已獲 SGLang-Omni Day 0 支援。對於本地資源有限的團隊，AuK-Flash 配合 SGLang-Omni 是較合理的切入點；如果追求最高質量、且不在意推論延遲，則可選 AuK Base，並透過可配置的 NFE 與 CFG 做品質/速度取捨。

重點摘要：

• 1.5B 統一模型：用自然語言指令統一零樣本 TTS、語音編輯、分離、增強、副語言與聲學編輯。
• 三模組架構：多模態語言模型 + 50 Hz 音訊 VAE + 混合 rectified-flow Transformer，採雙流 MMDiT 接單流 DiT。
• AuK-Flash 蒸餾：一致性初始化 + 任務路由 DMD，4 步推論無需 CFG，wall-clock 加速約 4.5 倍。
• 後訓練策略：語音生成用獎勵強化學習，開放式編輯用人類偏好優化。
• 部署支援完整：Hugging Face、ModelScope、Gradio、ComfyUI、Python API、SGLang-Omni 齊備。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, 文字轉語音, ComfyUI, Agentic, 模型, 多模態模型, 模型訓練, API, Audio, Python, 語音

---

anything2explainer：把任何主題變成科普影片

2026 年 9 月 10 日 Share to X Copy link

它不是 CLI，而是一套交給 AI 編碼 agent 用的方法包：從研究、旁白、字幕到分鏡，都用 Remotion 寫成 React 元件，產出可逐幀追溯的解說影片。

當你丟一個主題或一篇文件給它，系統會先做資料蒐集並標註來源，再寫旁白、生成 TTS 語音，並把時間軸對齊到逐個鏡頭。接著多個建構 agent 平行運作，每個負責一個 Remotion（React + TypeScript）元件，QC agent 再依書面標準審查每一幀。輸出是 1280×720 H.264 MP4，配上字幕、章節卡與進度條，全程沒有現成影片或生成式影像模型的痕跡。

這套流程對創作者的最大意義在於可追溯。每個鏡頭都有自己的原始碼、QC 報告與研究文件，螢幕上出現的年份、數字、英文術語都要對得到來源 URL；live-action B-roll 也強制記錄在 MANIFEST 裡，附上 sha256、來源與授權。這種「紙本文書鏈」對需要審核的場景——例如企業內訓教材或品牌內容——比多數 AI 影片工具更有交代。

在同類做法裡，它明顯偏向工程化交付而非即興 demo。Remotion 元件庫、燈光與樣式規格、多 agent 協作協議都以可複用資產形式提供，並用一段完整的參考影片作為品質基準。對會寫程式、需要大量長版講解影片但又受版權與準確性束縛的團隊——例如 SaaS 團隊做產品教學、研究單位做技術普及——會比較感受到它的價值。

限制同樣明顯：不是 CLI，必須搭配 Claude Code 或 Codex 這類 agent 環境；TTS 要自備並處理對齊；中英文以外語言未提及支援；整個流程壁鐘 1 到 3 小時，瓶頸在並行建構鏡頭的數量與長度。授權採 PolyForm Noncommercial，商用前要先看清楚。

重點摘要

• 全程程式碼繪製：用 Remotion 寫 React 元件產出每一幀，沒有生成式影片模型或現成素材。
• 可審核的紙本文書鏈：研究文件、旁白、分鏡、鏡頭原始碼、QC 報告全部保留。
• 多 agent 平行建構：研究、旁白、語音、分鏡後，由多個 agent 同時寫鏡頭元件，QC agent 再逐幀複查。
• 多語言旁白：支援中文與英文，TTS 需自備並做強制對齊。
• 非商業授權：採用 PolyForm Noncommercial，商用情境需自行評估。

GitHub

Categories: 開源, 文字轉語音, Agentic, AI productions, OpenAI, Video, Image, 工具, Content Creator, 庫, 語音, Anthropic, 動畫, Skill 技能

---

FireRedTTS3：廣東話與各地方言內容創作，覆蓋 24 種語言與 21 種方言

2026 年 9 月 9 日 Share to X Copy link

FireRedTTS3 是把零樣本克隆、語音編輯、聲線設計整合進同一個模型的開源 TTS 項目，支援 24 種語言及 21 種中文方言，亦可純靠文字描述生成全新聲音。

做多語言配音或本地化短片時，最麻煩往往不是翻譯，而是要為每種語言找一個聽起來自然的聲線，又要顧及四川話、閩南話、上海話等方言差異。FireRedTTS3 想處理的就是這個矛盾：它是一個統一式的語音生成框架，把零樣本聲線克隆、語音編輯、以自然語言設計全新聲線三件事放在同一個模型裡，靠的是語義增強的連續語音表徵。

項目分兩個版本。FireRedTTS3-Base 主打多語言克隆，覆蓋 24 種語言（包括粵語在內）以及 21 種中文方言；FireRedTTS3-Instruct 則做到純文字驅動的聲線設計，不需參考音頻，只要描述性別、年齡、音色、語速等特徵，就能合成全新聲音，並且支援語義層與聲學層的自由形式編輯，例如改寫某段對話、調整語速或音量。

相對同類做法，它的差異在於把克隆、編輯、聲線設計整合成單一流程，而非各自獨立訓練模型。在 MiniMax-MLS-Test 上平均 WER/CER 約 3.754%、說話人相似度約 84.8%；在 Seed-TTS-eval 上克隆 WER/CER 約 3.04%、相似度約 78.8%，從公開數字看在多語言與中文方言任務都做到當前較高的水準。

本地配音、廣東話與各地方言內容創作、Podcast 或短影片自動化產出，以及需要快速原型不同聲線的產品團隊，都比較容易受惠。程式碼以 PyTorch 開源，模型已上架 Hugging Face 與 ModelScope，可透過 Python API 呼叫，亦提供 Instruct API 處理聲線設計與編輯。

重點摘要：

• 多語言零樣本克隆：覆蓋 24 種語言及 21 種中文方言，包括粵語、四川話、上海話、福建話等。
• 統一語音生成框架：把克隆、聲線設計、語音編輯整合在同一模型內，避免切換多套工具。
• 純文字聲線設計：以自然語言描述性別、年齡、情緒等特徵即可合成全新聲音，無需參考音頻。
• 自由形式語音編輯：支援語義層改寫（插入、刪除、替換）及聲學層調整（語速、音量、音調）。
• 開源易取用：PyTorch 實作、Apache 2.0 授權，模型於 Hugging Face 與 ModelScope 提供下載。

GitHub · 模型

Categories: 開源, 文字轉語音, AI productions, 模型, API, Video, Audio, 語音, 廣東話

---

OmniEvalKit：唔使重新訓練 VLM 都可以聽聲答問題

2026 年 9 月 7 日 Share to X Copy link

MBZUAI Oryx 團隊把 OmniEvalKit 開源出嚟，主打唔使改動 VLM 任何參數，就為佢加掛語音理解能力。對於想評估或部署多模態模型嘅團隊，可以直接拎現成骨幹即試。

想為一個視覺語言模型加入語音理解，但又唔想重新訓練？MBZUAI Oryx 團隊開源嘅 OmniEvalKit（Training-Free Omni）就正正針對呢個痛點。它把語音先經 Whisper 抽取成帶時間戳、語言同信心分數嘅結構化文字，再連同圖片或影片幀一齊餵俾凍結嘅 VLM，所有推理都沿用原本嘅 prompt 接口，骨幹權重全程不動。換句話講，任何新嘅視覺骨幹都可以即插即用，毋須再做語音—視覺對齊微調。

它同時係一個統一嘅多模態評測框架，支援文字、圖片、影片、音頻同音視頻任務，並預載 118 個資料集適配器，涵蓋 Qwen、Gemma、MiniCPM、VILA、OmniVinci 等模型，方便做公平對齊測試。對研究人員同部署團隊而言，最直接嘅好處係可以一次過跑 56 個 benchmark、21 種語言，直接比較凍結骨幹同原生 omni 模型之間嘅差距，睇下語音能力究竟係新加出嚟定係由舊能力交換得嚟。

如果你關心 VLM 加掛語音後會唔會「失憶」，呢套框架正正提供 matched comparison，可以量化評估圖像理解、視覺定位、編碼、數學等原有強項有冇被削弱。額外支援嘅 CosyVoice3 文字轉語音輸出，亦令文本答案可以直接變成語音回覆。

要本地跑得起嚟，需要 Python 3.10+、ffmpeg，再針對 CPU、CUDA 或 ROCm 安裝對應嘅 PyTorch。之後透過 eval.sh 配環境變數指定模型同資料集即可開跑，加 MAX_SAMPLES=3 可以做煙霧測試，中斷後設 RESUME=True 可以接返。

以下係幾個值得留意嘅重點：

• 凍結骨幹、零微調：所有 VLM 權重完全不變，語音理解透過 Whisper 抽取文字證據再加 prompt 融合達成。
• 即插即用嘅 omni 能力：支援 Qwen2.5-Omni、Gemma、MiniCPM、VILA、OmniVinci 等多個模型適配器，方便横向比較。
• 覆蓋廣嘅評測矩陣：內置 118 個資料集適配器，涵蓋 56 個 benchmark 與 21 種語言。
• 原生 omni 同凍結骨幹嘅 matched 對照：可以清晰分辨新增能力同保留能力，避免重訓帶嚟嘅 capability drift。
• 可選語音回覆：透過 CosyVoice3 把文字答案合成語音輸出，適合對話式場景。

項目主頁 · GitHub

Categories: 開源, 文字轉語音, AI productions, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, NVIDIA, Gemini, Video, Image, 框架, Python, 語音, Dataset 數據集

---

VibeVoice-ASR-Streaming-7B 即時辨識與轉錄合而為一

2026 年 9 月 7 日 Share to X Copy link

Microsoft Research團隊將講者辨識加入串流語音轉錄，讓語音助手更快知道誰在說甚麼。

Microsoft Research 聯同中國科學院大學及上海交通大學研究人員，開發VibeVoice-ASR-Streaming。

模型以 Large Language Model（LLM）為核心的端到端串流Speaker-Attributed Automatic Speech Recognition（ASR）系統，連續處理到達中的語音，同時輸出文字及講者身份。傳統流程通常把ASR與speaker diarization分開處理；此模型將兩項工作放進單一模型，針對即時語音助手及語音代理需要低延遲回應的場景，減少等待完整錄音後才分析的限制。

VibeVoice-ASR-Streaming 會交錯處理固定大小的audio chunks，並加入少量lookahead，讓模型在保留未來聲音片段作判斷的同時，逐步產生轉錄結果。固定分塊有助控制處理延遲，但lookahead 與分塊大小之間仍要取捨：前者越多，講者切換及語句判斷可能更穩定，回應時間亦可能增加。

• 以單一LLM-based端到端模型同步處理ASR與speaker attribution
• 使用固定大小audio chunks及少量lookahead支援串流輸出
• 針對即時語音助手及agents的低延遲需求設計
• 量化檔案、推論框架、硬體需求及效能指標尚未在提供內容中交代

項目主頁 · Paper · 模型

Categories: Agentic, 微軟, Audio, Discord, LLaMa, Ollama, 語音, Dataset 數據集

---

Motion-Omni：「講嘢」同「做嘢」視為同一件事，直接生成全身動作

2026 年 9 月 7 日 Share to X Copy link

Motion-Omni 把語音和全身動作綁在同一個模型，講一句話就能即時生成對應嘅身體動作、表情同手势，適合需要邊講邊做嘅虛擬角色。

試過睇虛擬角色傾偈，個口形郁但身體硬晒，或者要逐段人手配動作？Motion-Omni 想解決嘅就係呢種「聲有、體無」嘅唔自然感。佢係一個端到端嘅多模態模型，輸入一段語音，輸出唔只有語音本身，仲有頭部、表情、手势以至全身姿態，全部喺同一個框架一齊生成，避免傳統做法分開處理再硬砌嘅斷裂感。

Motion-Omni 用咗一個統一嘅 tokenizer 把語音、文本同動作 token 化，配合 LoRA（Low-Rank Adaptation）adapter 等輕量微調技術，令模型可以同時學語音同肢體表達。生成嘅動作涵蓋手部、軀幹、面部表情，適合需要即時互動嘅場景，例如 AI 助手、虛擬客服、遊戲 NPC、語音驅動嘅動畫原型。

傳統動畫要先錄關鍵動作、再做 lip-sync 後製，而坊間部分開源方案往往只能控制頭部或者手部其中一樣。Motion-Omni 嘅做法係將「講嘢」同「做嘢」視為同一件事，所以動作會跟語氣、節奏同步變化，唔使額外人手調整。佢同時支援文字輸入，等開發者可以更直接控制角色行為。

對做 AI 角色、互動內容、語音動畫嘅團隊嚟講，呢種端到端做法可以慳唔少配動作同後製嘅工序，尤其適合需要快速原型嘅項目。讀者可以透過官方頁面睇影片 demo，評估生成動作嘅自然度同延遲表現，再判斷適唔適合自己嘅工作流。

重點摘要

• Motion-Omni 係一個端到端多模態模型，同時輸出語音、表情同全身動作
• 用統一 tokenizer 加 LoRA adapter 處理語音、文本同動作 token
• 覆蓋頭部、手部、軀幹同面部表情，適合即時互動角色
• 傳統做法分開配音同配動作，呢個模型將兩者合併生成
• 適用於 AI 助手、虛擬客服、遊戲 NPC、語音動畫原型等場景

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 北京大學, AI productions, 模型, 多模態模型, Video, 框架, 語音, 動畫

---

Hojo TTS Light 輕量語音合成，4000 萬參數就做到 15 種聲線

2026 年 9 月 6 日 Share to X Copy link

Hojo-TTS-Light 僅約 0.08B 參數，以 ONNX 格式在 CPU 即時合成 24 kHz 語音，並預載 15 種聲線，免依賴 PyTorch。

想把文字轉語音（TTS）嵌入邊緣裝置或本地腳本，最大阻力往往來自 PyTorch 依賴肥大、GPU 門檻高。Hojo-TTS-Light 直接以 ONNX Runtime 執行，連 PyTorch 都不用安裝，對只有 CPU 或資源受限的環境相當友善。模型檔約 4000 萬參數（0.08B），輸出 24 kHz 音訊，並內建 15 種預設說話人聲線，開發者只需切換 embedding 即可換聲，省下自行收集語料或微調的工序。

隨倉提供的 infer.py 與 onnx_model.py 展示完整推理流程，搭配 requirements.txt 即可用幾行程式碼完成合成。對需要快速在本地或伺服器側加入語音回饋的項目而言，這種「開箱即播」的設計，比傳統 TTS pipeline 更貼近部署需求。

不過，15 種聲線屬於 preset 性質，若要新增自訂說話人，就需要額外準備參考音訊與對應 embedding，無法像大型 TTS 模型那樣靠一句話克隆。整體取向偏向「輕量、即用」，而非追求擬真度或表現力。

重點摘要：

• 參數量約 0.08B，屬輕量級 TTS 模型
• 採用 ONNX 格式，免安裝 PyTorch 即可在 CPU 環境執行
• 預載 15 種 speaker-conditioned 聲線，可即時切換
• 隨附 infer.py、onnx_model.py、requirements.txt，方便快速整合
• 發佈平台為 Hugging Face，授權與權重可至該頁查閱

適合需要把語音合成嵌進邊緣裝置、CLI 工具或本地自動化流程的開發者；對追求高擬真或自訂聲線克隆的場景，則需要再評估擴充成本。

項目主頁

Categories: 開源, 文字轉語音, Agentic, Embedding, 模型, Audio, 語音, Skill 技能

---

Hojo-ASR-Multi-V1：廣東話語音識別引擎

2026 年 9 月 6 日 Share to X Copy link

基於 Qwen3-4B-Instruct-2507 微調而成的多語言語音辨識模型，覆蓋歐亞九種語言，嘈雜環境與口語修正都有對應訓練。

如果你聽過一段嘈雜環境裡帶口音嘅外語對話，想即時轉成文字，Hojo-ASR-Multi-V1 就係針對呢類場景設計嘅。它並非由零訓練嘅語音模型，而係喺 Qwen/Qwen3-4B-Instruct-2507 之上做微調，把語音編碼器接駁到大語言模型嘅解碼端，形成 Encoder-Adapter-LLM 嘅典型結構，再加入多幀聲學融合模組去保留細粒度嘅聲音特徵。訓練過程分階段進行並結合強化學習，所以喺噪音、非標準發音、講錯即改口呢類真實情境下都唔會輕易崩潰。

多語言覆蓋係佢最突出嘅賣點。官方公布支援德、法、西、葡、意、日、阿拉伯、韓、俄等九種主要語言，並加入咗普通話、英語、廣東話同四川話等方言支援。從公開評測結果睇，佢喺多個 CoVoST、MLS 同 FLEURS 基準上都錄得相當低嘅 WER，例如意大利 FLEURS 2.30、法語 MLS 2.95、德語 CoVoST 3.85，整體表現平穩。

喺使用層面，開發者可以透過 PyPI 上嘅 hojo-asr 套件快速部署，亦支援 Hugging Face Transformers 後端。HOJO_ASR.load_model 介面可以直接接收 wav 檔案路徑、scp 清單或原始音訊 bytes，配合 CUDA 設備做批次推論。授權用 Apache-2.0，並提供商業整合支援，方便團隊接入產品線。

由於佢建基於 Qwen3-4B 體量，運行門檻比傳統大型 ASR 親民得多，但仍然需要 GPU 推論以維持批次速度。

重點摘要：

• 基礎模型：以 Qwen/Qwen3-4B-Instruct-2507 為骨幹，採用 Encoder-Adapter-LLM 架構
• 語言覆蓋：歐亞九國主要語言，加普通話、英語、廣東話、四川話
• 訓練方式：多階段模組化訓練結合強化學習，針對噪音同口語修正優化
• 評測表現：CoVoST、MLS、FLEURS 多語言 WER 普遍處於 2–5 區間
• 部署方式：pip install hojo-asr 後用 HOJO_ASR.load_model 載入，支援檔案路徑、scp 或 bytes 輸入

需要留意嘅係，頁面並未提供 GGUF 量化檔案或本地推論引擎資訊，目前主要以 transformers 後端配合 GPU 運行；如果你想喺純 CPU 或邊緣裝置上使用，就要留意後續會唔會補上量化版本。

項目主頁

Categories: 開源, 模型, Qwen, Audio, 庫, 語音, Dataset 數據集, 廣東話

---