Gemma 4 12B (QAT 量化感知訓練)

Gemma 4 12B 這波某程度上算是在回應那個「手機級模型和大模型之間,會補一個中階模型」的傳聞。不過真正讓人眼睛一亮的,還是 QAT (Quantization Aware Training,量化感知訓練)真的做上來了。再加上現在也支援 MTP,Gemma 4 這代在本地模型的能力和效能上,整體都往前推了不少。總算看到除了 Qwen 之外,其他實驗室開始打出像樣的競爭了;最近的 local AI,真的很像一直都是 Qwen 在 carry。

Google Just Found a Loophole in AI Hardware Limitations
Categories: 模型