Ming-3.0-tts:0.5B 優化講東話語音合成、語氣控制!

需要複製聲線、調整情緒,或按劇本生成多角色對話時,Ming-3.0-tts 提供多種控制方式,並支援多種語言與方言。

Ming-3.0-tts Logo

要為短片配旁白、製作有情緒起伏的角色對白,或生成多角色 Podcast,Ming-3.0-tts 都提供相應能力。這個開源語音生成模型項目支援中文、英文等七種語言,以及廣東話和四川話兩種方言;使用者可克隆參考聲線、用文字描述設計音色,亦可用自然語言指示演繹方式。

支持中文、英文、德文、西班牙文、法文、韓文和日文語音,亦可選擇四川話或廣東話;語速、音高和音量也可以調整。項目提供兩個模型:0.5b 是 dense model,tiny 則是建基於 Ling V3 的 MoE model,總參數量為 7.9B、每次啟用 1.3B。只有 tiny 支援按劇本和參考聲線生成多說話者對話。

兩個模型各有取捨。0.5b 在廣東話 Base CER、ACC,以及部分情緒和屬性控制指標取得領先;tiny 在多項多語言、聲線相似度和播客測試中排名靠前。不過,部分歷史紀錄仍由 Ming-omni-tts 保持,例如播客 CER;tiny 的韓語準確度、音高控制和角色扮演指令遵循能力,亦列為後續改善方向。

模型支持聲線複製、自然語言控制及多角色對話。適合需要製作多語言旁白、有聲內容或角色語音的創作者和開發團隊;若工作依賴特定方言的聲線相似度,或要求穩定遵循複雜角色指令,仍應先用目標語料自行驗證。

  • 可用文字設計語氣聲線或選用內置中英文聲線。
  • 支援 14 種中文或英文語氣標籤,以及情緒、語速、音高和音量控制。
  • tiny 可按劇本生成多說話者對話;0.5b 不具備這項功能。
  • 公開測試涵蓋方言、多語言、情緒、屬性控制和播客,兩個模型的領先項目各有不同。
  • ComfyUI 整合

項目主頁 · GitHub · 模型

Categories: 開源, 文字轉語音, 模型, Content Creator, 語音, 廣東話