VoiceMem 讓語音 AI 記住你的情緒與偏好

2026 年 8 月 27 日 Share to X Facebook Copy link

VoiceMem 以流式雙腦架構處理事實記憶、情緒與人格，讓語音智能體在對話中更懂使用者，同時控制延遲與成本。

語音智能體要記住「我是素食者、對堅果過敏」，並不只是保存轉錄文字，還要分辨人物、情緒、偏好與性格。VoiceMem 屬於語音 AI 記憶引擎及可整合的庫，處理音訊輸入、記憶抽取、檢索和回應前的上下文注入，讓長期個人化對話不必每次重新建立背景。

它採用 VoiceMem Dual-Brain Streaming Architecture（流式雙腦架構）：左腦以 schema 與 entity 組織事實記憶，右腦獨立管理情緒、偏好和人格，亦維護跨 entity 的關聯。音訊仍在輸入期間，系統已經分段、轉錄、抽取資料並寫入記憶圖；查詢時先路由及排序，只把 Top-K 記憶放入上下文，減少語音回應需要處理的內容。

• 左腦在 Top-3 限制下維持 Mem0 的滿載性能
• 右腦加入長短期情緒歸因及交叉節點
• 透過壓縮資訊、分層儲存和流式查詢降低等待時間
• 單輪查詢約需 300 token，架構及底層記憶引擎可替換

VoiceMem 內置 ASR（Automatic Speech Recognition）、聲紋、場景、情緒感知及本地 embedding 元件，亦提供離線記憶引擎和 streaming interface。倉庫資訊包含 Python 庫、互動式網頁 demo、VoiceMem_Default_Models_Env 模型環境，以及可選的 Qwen 回應模型；但完整硬件要求、服務依賴和模型授權仍需按連結內容逐項確認，不能單靠 README 推斷。

ChatMem-400K 以記憶世界構建、SLM 驗證的 online on-policy distillation 和人工修訂三階段製作，配合 VoiceMem Model Families 的 Qwen3 6 35B A3B Qlora 模型系列。這令項目較適合需要長期語音陪伴、個人助理、客服或具情緒連續性的 voice agent 團隊；對只需短對話轉錄的工作流，雙腦記憶層會增加整合和維護成本。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 清華大學, Agentic, Embedding, 多模態模型, Qwen, Python, 庫, 語音

---

Super-Star：讓數字人邊聽邊做

2026 年 8 月 27 日 Share to X Facebook Copy link

Super Star 將串流語音、對話和身體動作連成一條即時管線，令 3D 數字人毋須等待完整語音才開始配合手勢。

數字人要一邊回應、一邊自然做出配合語氣的動作，關鍵不只是生成語音，而是不能偷看未來內容。Super Star 屬於面向 3D 數字人的即時互動框架，處理多模態輸入、串流回應語音，以及與語音同步的身體姿態生成。

Super-Star 把 Streaming Speech Response 與 Online Gesture Generator 兩個模組接合。前者採用 Qwen3-omni 產生串流回應語音，後者是因果多模態自回歸模型，根據目前收到的語音和 motion history 預測下一段動作，因此可在低延遲下生成手勢，不需等整段對話完成。

離線資料流程會按主題和情緒建立人機對話，再為回應語句生成 co-speech gestures；線上互動收集到的使用者偏好，會回流到 closed-loop self-evolving data pipeline，支援持續調整。相比先取得完整語音再生成動作的做法，Super Star 以較少未來資訊換取即時性，但動作預測亦更依賴目前語音片段和歷史狀態。

• 串流語音與動作同步，適合虛擬陪伴、直播角色及互動式數字人
• Qwen3-omni 負責回應語音，Online Gesture Generator 負責身體動作
• 研究結果主張改善 latency-quality trade-off、語音動作同步及使用者偏好
• 訓練 Motion Tokenizer 和 Online Gesture Generator 時需要 WAV 音訊
• CUDA driver 需為 12.4 或以上，完整執行細節仍要配合 Qwen3-omni 及 vLLM-Omni 文件

提供的資料包含 training、inference 和 evaluation code。訓練部分使用 RQVAE 的第一層 codebook 解碼，對應論文線上模型採用的 VQVAE，測試者需要準備 WAV 檔案並填寫音訊路徑和輸出目錄。對研究團隊及需要低延遲數字人互動的開發者而言，項目較適合作為研究原型或客製化系統的起點，而非即裝即用的成品。

項目主頁 · GitHub

Categories: 開源, 騰訊, Agentic, 多模態模型, 模型訓練, Qwen, NVIDIA, Audio, 3D, 語音, Dataset 數據集

---

Gemini Live 語音代辦操作，對話直接推進工作流程

2026 年 8 月 27 日 Share to X Facebook Copy link

Gemini Live 開始將語音對話變成可執行動作，減少你在應用程式之間來回切換。這次更新瞄準的是日常處理待辦事項時最容易中斷節奏的那一步。

一邊講電話、一邊行路，或者手上正做緊其他事時，最麻煩往往唔係記低待辦，而係之後仲要再打開日曆、記事或清單工具逐個輸入。Gemini Live 今次更新，正正係想將語音對話直接接駁到生產力工作流，令你講完就可以即時推進下一步，而唔係停留喺一段只會回應問題嘅聊天。

Google 把這次升級放在 Gemini Live 內，主打用聲音委派待辦事項。公開內容雖然未詳細列出所有支援動作，但方向已經相當明確：Gemini app 不再只做對答，而係更貼近可代你整理、記錄同安排事項嘅 Agentic 工具。對平日靠手機快速處理雜務、會議後即場補記重點，或者想減少手動輸入嘅人，分別會幾直接。

同常見語音助理只幫你查資料、設鬧鐘相比，呢類整合更著重「講完之後有冇後續動作」。價值唔單止在於語音輸入，而係把理解內容、整理意圖同觸發下一步放入同一段互動入面。代價亦好清楚：功能好不好用，仍然取決於它能接到幾多工具、判斷待辦內容有幾準，以及會唔會喺多步操作中出錯。

• 把語音對話直接轉成待辦相關動作，減少手動整理
• 焦點放在生產力場景，而不只是語音問答
• Gemini Live 朝住 Agentic assistant 方向再行前一步
• 真正體驗取決於工具整合深度同指令理解準確度

現時公開資訊較似功能發布預告，未見完整技術細節、評測數字或支援範圍清單。不過訊號已經好明顯，Google 想令 Gemini app 在對話之外，開始處理更多可落地執行的工作。對想用語音把碎片化雜務一次過交畀系統處理的人，這次更新比單純加強聊天自然度更有實際意義。

項目主頁

Categories: Agentic, Google, Gemini, 工具, 語音, 安全

---

TLive-Omni：專攻直播電商的多模態理解模型

2026 年 8 月 26 日 Share to X Facebook Copy link

TLive-Omni 將影像、影片、語音和文字統一成文字輸出，特別適合要即時理解直播內容的場景。它同時處理商品畫面、聲音與對話脈絡，目標是減少直播電商裡資訊斷裂的問題。

TLive-Omni 是一個多模態理解模型，針對直播電商場景，把影像、影片、語音和文字整合到同一個文字輸出介面。對做直播監控、商品理解、內容標註或客服輔助的人來說，它處理的是同一場直播裡多種訊號難以對齊的問題。

這個項目建基於 Qwen3.5 backbone，再接入 AuT audio encoder 和輕量 MLP 對齊層，並用 timestamped Per-vGrid 把聲音片段和對應畫面放在一起。它支援最長 256K tokens context，適合長時間直播流的連續理解，而不是只看單段截圖或單句語音。

訓練流程分三階段 SFT，先做語音與語言對齊，再擴展到完整多模態指令跟隨，之後加入 Faithful-RFT，強調回答要貼近直播場景的即時需要。README 亦列出聲音辨識、講者分析、商品視覺定位、文字辨識、時序定位、影片密集描述和 omni-modal QA 等能力，顯示它不是單一功能模型，而是面向直播任務的綜合型系統。

• 4B 和 9B 版本都已公開，方便按算力和部署成本選擇。
• 在直播電商的音訊、影像和影片任務上有不錯表現。
• 對一般基準也有泛化能力，不只局限於單一場景。
• 更適合需要長上下文、多訊號同步分析的團隊。
• 取捨在於它很聚焦直播電商，未必是通用多模態助手的最佳替代。

整體來看，TLive-Omni 把直播場景最麻煩的訊號對齊、長上下文理解和即時回答放在同一條路徑處理，對做電商直播分析、內容審核和銷售輔助的團隊會更實用。它的價值不在於把功能堆滿，而在於把多模態理解收斂到直播工作流裡真正會撞到的問題。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 多模態模型, Qwen, Video, Audio, 語音

---

VoxEMW：把 Mac 變成 1.3 秒回應的私人語音助手

2026 年 8 月 24 日 Share to X Facebook Copy link

VoxEMW 將語音處理放在 Apple Silicon Mac，手機只需透過瀏覽器或 iOS 客戶端對話，回應速度與音色克隆是最大賣點。

對住手機講完一句話，約 1.3 秒後便聽到固定角色用克隆聲線回答，VoxEMW 屬於開源語音助手項目，處理判停、轉寫、對話調度及語音合成，解決語音對話延遲高、角色聲線難以保持的問題。Mac 負責主要語音管線，只有 LLM 大腦經 DeepSeek API 上雲，日常成本相對可控。

整套流程由 Silero 加 SmartTurn 負責判斷何時真正講完，Qwen3-ASR-0.6B-hf 在 MPS 上轉寫，再由 DeepSeek v4-flash 產生回覆，Qwen3-TTS-1.7B-Base 以 MLX 6bit 執行零樣本音色克隆。參考聲音配合逐字台詞便可註冊角色，首段聲音約 0.5 秒生成；中途打斷時，已播放及已聽內容會寫回上下文，對話較不容易斷層。

一块 4090 跑通 AI 视频通话全栈：Qwen3.8-27B 本地部署，对话时延 2 秒

項目需要 Apple Silicon Mac 作本地伺服器，實測以 M5、16GB 記憶體可以流暢運行，模型及環境約需下載 4GB。瀏覽器可直接連接本機介面；iPhone 或 iPad 則要透過局域網 HTTPS/WSS 連線，並自行處理 TLS 證書、Xcode 簽署及免費帳戶七日側載限制。

• 回應最快 1.26 秒，中位數約 1.6 秒，實際速度仍受網絡及 API 影響
• VAD、STT、TTS 留在本機，DeepSeek API 按 token 收費
• 支援流式字幕、空回覆重試及語音中斷後續接
• 全屏星空會隨說話及聲波變化，增加角色互動感

相比全程雲端方案，VoxEMW 減少語音資料離開家中 Mac，但需要一部 Apple Silicon Mac 長期運行；相比完全離線方案，DeepSeek API 帶來額外費用及資料傳輸考慮。適合想建立固定聲線角色、研究低延遲語音管線，或有 Mac 作家庭伺服器的開發者，普通使用者則要先接受證書、模型環境及 API 金鑰設定等門檻。

GitHub

Categories: 開源, 文字轉語音, Qwen, DeepSeek, API, 框架, Mac, 語音, 蘋果

---

4DAnyone 把單鏡頭影片重建 4D 多視角

2026 年 8 月 22 日 Share to X Facebook Copy link

由一段普通單鏡頭人物影片開始，4DAnyone 生成具一致性的多視角影片，再交由 4DGS 重建可動人物。

由未校準的 monocular video 出發，4DAnyone 可以為同一個人物生成多個目標視角，接着交給 4D Gaussian Splatting（4DGS）建立可渲染的 4D 人物。這個 GitHub 項目屬於 4D 人物重建工具，處理的是拍攝時沒有多部相機、相機內參或姿態資料，卻想取得多視角動態素材的問題。

它不只把畫面轉成另一個角度，而是嘗試維持不同視角之間的時間和外觀一致性，讓後續 4DGS 重建不必直接面對單鏡頭資料的視角缺口。相較於需要 rig、校準相機或固定三腳架的流程，這個方法換來的是對輸入影片質素和人物動作的依賴。

使用 inference.py 讀取影片，再以 views_per_layer、layer_pitches、start_yaw 和 yaw_span 控制相機層數、上下角度及水平覆蓋範圍。儲存庫提供 Python 3.11、requirements 和第三方 GVHMR 元件的安裝安排，缺少的模型及例子會在首次使用時自動取得；原始資料沒有交代硬件需求、推理時間或量化性能，因此不能把速度表現視為已被驗證。

• 支援全身或上半身、畫面只包含一人的影片
• 可生成 6、24、48 個或自訂數量的目標視角
• 兼容輕微鏡頭移動，以及未知相機內參和姿態的素材
• 可選 FlashAttention-3 或 SageAttention 加快推理

研究展示內容集中於不同人物影片、動作和場景的泛化能力。需要製作 4D 人物、研究自由視角影片，或建立動態人像資料的團隊；只想快速套用濾鏡或要求即時輸出的使用者，仍要先確認硬件、模型取得方式和影片條件是否符合要求。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, AI productions, 數字人, 視頻模型, Video, Python, 語音

---

NAPE 簡化自監督音訊片段訓練

2026 年 8 月 21 日 Share to X Facebook Copy link

NAPE 以因果 Transformer 預測下一個音訊 patch embedding，省去解碼器與 tokenizer，探索更精簡的音訊表徵學習方法。

音訊模型要兼顧訓練成本、表徵能力與模型規模，往往需要加入多個輔助模組。NAPE（Next Audio Patch Embedding prediction）是一個自監督音訊表徵學習框架，將 log-mel spectrogram 切成 patch，再由因果 Transformer 根據前面的片段預測下一個 patch embedding。

NAPE 沒有 reconstruction decoder、acoustic tokenizer、student-teacher 架構或額外正則化損失。它依靠三個機制維持學習訊號：causal masking 隱藏未來位置、prediction shift 要求位置 t 預測 t+1，以及 stop-gradient 固定目標 embedding，避免模型退化成輸出相同向量。

二維 spectrogram 會按指定 scanning order 轉成一維序列，研究涵蓋 raster、diagonal、zigzag 和 time-major 四種排列；其中 raster、diagonal 及時間方向的排列較符合聲音事件的發展。模型在 AudioSet 預訓練，再於 AudioSet-2M、AudioSet-20K、ESC-50、Speech Commands V1/V2 和 IEMOCAP 進行微調或 linear probing，資料顯示它在多項任務取得 state-of-the-art fine-tuning 結果，並具備穩定的跨規模擴展能力，但原始資訊沒有提供各項具體分數。

要求系統有 Python 3.10、PyTorch 2.8.0 和 Transformers 4.56.2 的環境，並提供 requirements 檔及部分資料集處理程式；ESC-50、Speech Commands V1/V2 和 IEMOCAP 有下載腳本，AudioSet 則要自行處理涉及 YouTube 的下載流程。研究團隊亦列出程式碼及預訓練 checkpoint 的發布資訊，但 Hugging Face checkpoint 仍標示為待辦，不能把完整模型取得流程視為已經齊備。

• 訓練訊號精簡：只用下一個 patch embedding 預測與 stop-gradient。
• 適合音訊表徵：可支援語音指令、環境聲音及情緒辨識等任務。
• 排列順序有影響：spectrogram 的線性化方式會改變模型看到的時間關係。
• 測試門檻清楚：需要 AudioSet 或下游資料集，以及 W&B 追蹤實驗。
• 限制在資料流程：AudioSet 不提供同等簡化的下載方式，checkpoint 取得狀態亦未完全明確。

項目主頁 · GitHub

Categories: 開源, Embedding, 模型訓練, Audio, Python, 語音

---

VoxWeave：Windows 本機 RVC 變聲工作站

2026 年 8 月 13 日 Share to X Facebook Copy link

把音頻、影片、麥克風同批次任務收在同一個桌面工作站，VoxWeave 走的是本機離線處理路線。它重點解決變聲流程分散、結果難追蹤，同時保留即時變聲與批量轉換。

VoxWeave 是一套面向 Windows 的 RVC（Retrieval-based Voice Conversion）變聲工作站，定位很清楚：把離線轉換、即時麥克風變聲、批量處理和結果追蹤放進同一個桌面流程。它適合要穩定處理音頻、歌曲或影片音軌的人，也適合需要交付產物、查看失敗原因和保存位置的工作場景。

使用方式偏向本機部署而不是雲端服務。EXE 不內置大體積環境或模型，首次使用可在介面內按需下載經哈希校驗的運行組件與推薦模型；來源倉庫也保留 Linux 和 macOS 的邊界，但目前真機驗收集中在 Windows 11 與 NVIDIA CUDA。

它和常見變聲工具最大的分別，在於把狀態、任務、批量規則、即時會話、產物與歸檔都收進 SQLite 作為單一真源，連診斷匯出都會帶上運行時、模型和日誌清單。這種做法讓問題排查和重試更直接，但代價是它明確不提供虛擬聲卡、模型訓練或 GPT-SoVITS，定位比完整聲音工坊收得更窄。

• 支援音頻、影片、資料夾和麥克風輸入，流程集中。
• 可做離線轉換、即時變聲與批量處理，結果可追蹤。
• 模型按原路徑登記，會計算權重和索引的 SHA-256，不會複製或改名。
• URL 模型需要提供來源、最終大小和 SHA-256，授權不明時會明確標示。
• 目標較適合 Windows 本機使用者、內容製作流程，和需要留存產物與錯誤記錄的團隊。

GitHub

Categories: 開源, AI productions, NVIDIA, Mac, Linux, 語音, Win

---

Ex-Omni-2D 直接對話生成同步發聲與表情的數字人影片

2026 年 8 月 12 日 Share to X Facebook Copy link

Ex-Omni-2D 讓對話模型同時輸出文字、個人化語音與表情同步的頭像影片，以多碼本語音單元串接語音與畫面，並提供 Teacher 與 Prefix-Streaming Student 兩種部署模式。

想讓 AI 數字人不只是「會打字」，而是真的「邊說邊演」？香港中文大學（深圳）與 LIGHTSPEED 合作開源的 Ex-Omni-2D，正是針對這個目標設計。它是一個開源對話框架，接受多模態查詢、參考圖像與參考音訊後，先由語言模型輸出一份結構化的 Visual Thought Plan（VTP），再依此生成文字回應、個人化語音，並產出嘴形與動作同步的頭像影片。

傳統做法通常把語音合成與人物影片視為兩條獨立管線，需要額外對齊文字、聲音與嘴形，容易出現時間錯位。Ex-Omni-2D 的差異在於採用 16 個 codebook 構成的原生多碼本語音單元，作為語音與影片共享的聲學與時序介面：同一組語音單元既驅動 TTS，也作為影片生成器的緊緻條件，從而降低跨模態錯位的風險。

影片生成路徑提供兩種互補模式：Full-sequence Teacher 採雙向注意力，追求最高畫質；Prefix-Streaming Student 則是蒸餾而來的少步數 block-causal 版本，支援 2、4、8 步串流推論，方便在工作站、GPU 伺服器甚至 Hugging Face Spaces 上做漸進式部署。

這個項目的重點：

• 對話原生影片：視覺行為直接從多模態對話上下文規劃，不必再手動撰寫影片提示詞。
• 結構化 VTP：明確定義首幀、場景、情緒、動作風格與動作細節，方便後續控制與除錯。
• 共享語音介面：16 個 codebook 同步驅動語音合成與人物動作。
• 品質與效率取捨：Teacher 負責最高畫質，Student 支援 2/4/8 步串流。
• 彈性部署：同一套代碼可在個人工作站、GPU 伺服器或 HF Spaces 執行，並提供線上 Demo 試玩。

在串流場景中，作者指出 Prefix Streaming 從第 9 至 16 chunk 的一致性明顯較強，將 last-to-first consistency error 降低 21.4%，這對需要長時間維持角色身份一致的應用相當關鍵。論文亦提到 Prefix Streaming 能減少長序列累積形變，同時保留參考圖像的人物外觀。

較適合的對象包括需要快速打造可對話 AI 助手、虛擬主播、客服分身或教學數字人的團隊；對研究多模態對話、語音驅動動畫的人來說，這份開源代碼、模型權重與 arXiv 論文也是一個方便的起點。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 騰訊, 文字轉語音, AI productions, 數字人, 多模態模型, 視頻模型, Qwen, 香港, 語音

---

NeMo Speech：NVIDIA 把 ASR、TTS、語音 LLM 收進同一條 PyTorch 生產線

2026 年 8 月 12 日 Share to X Facebook Copy link

NVIDIA 把語音研究最常碰到的 ASR、TTS 與 Speech LLM 整合成單一框架，研究員和工程師不用再東拼西湊，也能用預訓練權重快速微調與部署。

語音 AI 的痛點往往不是模型不夠強，而是開發者要同時面對 ASR、TTS、串流識別等好幾套獨立工具鏈。NVIDIA NeMo Speech 把這些任務收進同一個 PyTorch 框架，並提供預訓練權重，讓研究員可以把精力花在實驗設計，而不是從頭搭建訓練流程。

從近期更新可以看到三個值得留意的方向：MagpieTTS v2607 把支援語言擴展到 12 種，新增阿拉伯文、韓文、葡萄牙文；Nemotron-3.5-ASR-Streaming-0.6B 在單一 H100 上能同時處理最多 2400 條串流，並允許把延遲控制在 80ms 到 1s 之間；Parakeet-unified-en-0.6b 則把離線與串流推理合併成一個英文模型，最短延遲 160ms。

Nemotron 3 VoiceChat 把 LLM、骨幹與 TTS 解碼器串成全雙工對話，能自然處理打斷與插話，這對於想建立語音助理的團隊是比較完整的一條路。Fastconformer 等快取感知架構是背後的工程功臣，讓長音訊串流不需要犧牲太多吞吐量。

訓練階段必須配備 NVIDIA GPU 與 CUDA 環境，推薦使用 PyTorch 2.7 或以上版本；現時倉庫正進行拆分，下一個主要版本預定 2026 年 6 月發佈，短期內穩定使用可以考慮 26.02 NGC container。對做客服、會議記錄、媒體字幕或有聲書生成的團隊，這套框架能把語音模型從原型走到部署的距離明顯縮短。

重點摘要：

• 單一框架覆蓋三大任務：ASR、TTS 與 Speech LLM 都在 NeMo Speech 內，減少切換工具鏈的成本。
• 串流效能突出：Nemotron-3.5-ASR-Streaming-0.6B 支援 40 種語言，單張 H100 可並行 2400 條流，延遲可調。
• 多語 TTS 擴張：MagpieTTS v2607 覆蓋 12 種語言，並提供 Hugging Face 線上 demo。
• 全雙工語音助理：Nemotron 3 VoiceChat 把 LLM 與 TTS 解碼器結合，支援自然打斷與低延遲對話。
• 硬體要求明確：至少配備 80 GB 記憶體。訓練需 NVIDIA GPU 與 CUDA，PyTorch 2.7 或以上版本，推理可在 CPU 或 GPU 執行。

GitHub · 模型

Categories: 開源, 文字轉語音, Agentic, NVIDIA, 框架, Python, 語音, Dataset 數據集

---