Magenta RealTime 2:即時生成音樂的開放模型

Repository image for magenta/magenta-realtime

Magenta RealTime 2(MRT2)是個即時音樂生成的 open-weights model,重點不只是一個模型,還連同 Python 推論庫 magenta-rt、C++ 推論引擎 magentart::core,以及可直接延伸成應用程式的示例一併提供。對想將生成式音樂放入創作工具、互動程式或聲音實驗的人來說,這個項目比單純放出模型更完整。

不少音樂生成模型可以離線產出內容,但要做到邊播邊生成、能配合演奏或介面互動,系統延遲、串流效率與硬件限制都會變成關鍵。MRT2 直接針對 real-time streaming 設計,並且把 Apple Silicon MacBook 的串流音訊生成列為核心場景,令開發者較容易把模型接入 DAW、獨立 app 或其他音樂工具。

Magenta RealTime 2 可按需要選擇 Python 或 C++ 路線:想試模型行為,可用 magenta-rt 配合 JAX 或 MLX;想做較高效率的音訊串流,則可留意 magentart::core;要接近成品流程,儲存庫內亦有 AUv3 plugin、standalone macOS app、note control 與 prompt space 探索工具。這種由底層推論到示例應用都齊備的安排,對建立原型特別有幫助。

  • 提供兩個模型:mrt2_small(230M)與 mrt2_base(2.4B)
  • mrt2_small 可在多款 Apple Silicon Mac 即時運行,Air 系列亦可支援
  • mrt2_base 音質定位較高,但即時串流需 Pro Max 級別晶片
  • Python 路線支援 JAX、MLX,亦提到可在 NVIDIA GPU 做 offline inference
  • 內附 AUv3、standalone app 與互動示例,方便延伸成創作工具

性能資訊在這個項目中算是寫得具體:即時串流明確依賴 Apple Silicon(M 系列),而且不同晶片對 mrt2_base 的支援有清楚區分。從已公開資料看,mrt2_small 較適合大部分開發與測試場景,mrt2_base 則偏向追求更高品質、且手上有較高階 Mac 的用家。若你正在做音樂科技項目、DAW 擴充、互動聲音裝置,或者想研究生成模型如何接入即時工作流,這個項目相當值得留意。

GitHub: https://github.com/magenta/magenta-realtime

Categories: 開源, Google, 音樂, 蘋果

gemma-chat:離線寫Code助手:Mac本機AI實測

Gemma 4 Desktop

對於重視私隱,或者經常處於無網絡環境的人來說,這個專案最吸引的地方,是把 AI 編程助手完全放到 Mac 本機執行。它屬於 Electron 應用程式,透過 Apple 的 MLX 框架在 Apple Silicon 裝置上運行,首次下載模型後,就算冇 Wi-Fi 亦可繼續使用。

實際使用上,你只要用自然語言描述想做的內容,例如簡單網頁、計算機介面或多檔案小專案,系統就會在沙盒工作區內自動產生程式碼,並提供即時預覽。這種邊生成、邊查看效果的方式,對非專業開發者特別友善,因為可以直接用畫面理解改動。

它的創新不只在「本地化」,而是在本機環境中同時整合了聊天、工具使用與建構模式。除了可作一般對話,還支援語音輸入,以及在不同 Gemma 4 變體之間切換;如果你需要更平衡的速度與能力,README 明確推薦 Gemma 4 E4B,而較大型版本則對記憶體要求更高。

Gemma 4 Desktop Coder by Google: 100% Free & Local, Build Apps OFFLINE on Your Mac
  • 全程本機運行,不需 API key,也不用把程式碼送上雲端
  • Build Mode 可建立多檔案專案,並即時預覽結果
  • Chat Mode 支援工具使用,例如網址擷取、計算及指令操作
  • 首次啟動自動配置,包括 Python 虛擬環境與 MLX 執行環境

最適合的場景,包括飛機上、網絡不穩定的地方、內部原型開發,或不想把敏感程式碼交給第三方服務的團隊。要留意的是,它目前明確針對 macOS 與 Apple Silicon,亦需要先下載模型;所以如果你用的是其他平台,或者電腦資源有限,體驗可能會受限制。整體而言,這是一個相當清晰的「離線 AI 編程」示範,也顯示本地小型模型已開始具備實用價值。

Source: https://github.com/ammaarreshi/gemma-chat

Categories: 開源, 編程, 蘋果