想讓 Codex、OpenCode、Claude Code 等編程代理使用本地模型,又不想犧牲回應速度與工具呼叫能力?Rapid-MLX 提供兼容 OpenAI 和 Anthropic API 的推理服務器,專為 Apple Silicon 設計。
在 Mac 上用本地模型操作 Codex、Claude Code 或 OpenCode,回應速度和代理能否可靠呼叫工具都會影響工作流程。Rapid-MLX 是建基於 MLX、面向 Apple Silicon 的開源大型語言模型(LLM)推理服務器,讓多款編程代理透過兼容 OpenAI 與 Anthropic 的介面連接本地模型。
它與直接使用 Apple 的 MLX(mlx-lm)相比,主打更快的生成速度和編程代理所需的工具呼叫能力;同一模型、同一組權重下,項目報告最高可達 4 倍解碼速度,典型任務約快 1.5 倍。比較結果會受模型、任務和硬件影響,不能視為所有情況都能達到的速度提升。
測試資料包括 Mac mini M4 Pro 上的 Qwen3.5-9B 4-bit,以及 Mac Studio M5 Max(36 GB)上的多款 Qwen 模型。Rapid-MLX 的 Qwen3.5-9B 解碼速度為每秒 115.5 個 token,oMLX 為 77.9,LM Studio 為 81.0;但測試只記錄單次執行,並使用各服務器的預設模式,因此數字適合參考,不宜直接當作全面排名。
安裝後選用支援的編程代理,再以 rapid-mlx launch 啟動即可;同一指令可重複使用,移除 Rapid 的私人設定檔也不會改動 Codex 原有設定。首次回覆可能較慢,因為模型需要下載或載入,也可能要處理代理的開場提示詞。項目要求使用 M 系列 Mac,目前沒有 Windows 或 Linux 桌面版本。