想在筆記簿或單張 GPU 上處理 27B 級模型，Bonsai 2 27B 提供了一條更貼近本地工作的路線。這項目屬本地運行的低位元多模態語言模型示範工具，實際處理推理、圖片及 PDF 問答，以及需要工具往返的代理工作流。
Ternary Bonsai 2 27B 建基於 Qwen3.8 27B，使用 {-1, 0, +1} 三值權重和 FP16 group-wise scaling，模型大小約 5.9GB，達到 1.76 effective bits per weight。項目聲稱保留完整精度模型 98.2% 的整體基準表現，數學能力只相差約半分，編程表現亦接近基線；代價是必須使用 PrismML 的 llama.cpp binaries，stock llama.cpp 無法直接載入相關檔案。
• 262K-token context，配合 hybrid-attention backbone，較適合長文件處理
• 支援照片、截圖及 PDF 問答，llama.cpp 與 MLX 均可運行
• 原生 OpenAI-style tool_calls，並支援 MCP servers
• PTQ1_0 約 1.75 bits per weight；PQ2_0 以增加約 1.3GB 換取較快提示處理
由 setup 流程取得對應模型及自訂後端，再透過示範介面開啟聊天、視覺和工具功能。Mac 可用 Metal，Linux 或 Windows 可選 CUDA、Vulkan、ROCm，亦可用 CPU；介面可調節 reasoning effort，方便比較回應速度與推理深度。
適合需要離線處理文件、想在有限記憶體硬件運行較大模型，或要把本地模型接入 MCP 工具的開發者和小型團隊。項目提供的多個 Bonsai、Bonsai (1-bit) 及 Ternary-Bonsai 型號，讓硬件容量與能力之間有更多取捨。