
在 Mac 上用本地模型操作 Codex、Claude Code 或 OpenCode,回應速度和代理能否可靠呼叫工具都會影響工作流程。Rapid-MLX 是建基於 MLX、面向 Apple Silicon 的開源大型語言模型(LLM)推理服務器,讓多款編程代理透過兼容 OpenAI 與 Anthropic 的介面連接本地模型。
它與直接使用 Apple 的 MLX(mlx-lm)相比,主打更快的生成速度和編程代理所需的工具呼叫能力;同一模型、同一組權重下,項目報告最高可達 4 倍解碼速度,典型任務約快 1.5 倍。比較結果會受模型、任務和硬件影響,不能視為所有情況都能達到的速度提升。
測試資料包括 Mac mini M4 Pro 上的 Qwen3.5-9B 4-bit,以及 Mac Studio M5 Max(36 GB)上的多款 Qwen 模型。Rapid-MLX 的 Qwen3.5-9B 解碼速度為每秒 115.5 個 token,oMLX 為 77.9,LM Studio 為 81.0;但測試只記錄單次執行,並使用各服務器的預設模式,因此數字適合參考,不宜直接當作全面排名。
安裝後選用支援的編程代理,再以 rapid-mlx launch 啟動即可;同一指令可重複使用,移除 Rapid 的私人設定檔也不會改動 Codex 原有設定。首次回覆可能較慢,因為模型需要下載或載入,也可能要處理代理的開場提示詞。項目要求使用 M 系列 Mac,目前沒有 Windows 或 Linux 桌面版本。
- 支援 Codex、Claude Code、OpenCode、Pi、Hermes、Crush 和 Goose。
- 提供兼容 OpenAI 與 Anthropic 的 API,並著重可靠的工具呼叫。
- 可按模型和任務查看速度比較,項目亦提供測試方法與原始數據。
- 首次回覆可能受模型下載、載入及提示詞處理時間影響。
- 僅支援 Apple Silicon;不適合需要 Windows 或 Linux 桌面版本的團隊。
需要在 Mac 上運行本地模型、又希望保留編程代理工作流程的開發者,可以用 Rapid-MLX 測試常用模型與任務,再決定速度提升是否足以配合硬件需求。模型仍須在本機下載和載入,選擇時應一併考慮記憶體容量及首次啟動等待時間。