Gemma-4-12B GGUF 合集 (rahul7star)

社区实测

Gemma 4 12B GGUF 在消费级硬件上以极低 VRAM 占用（Q4 约 6.6GB）提供了接近 26B 模型的 benchmark 成绩和原生多模态能力，部署门槛低、性价比突出。但在实际编码场景口碑分化，QAT 量化版本存在转换导致的性能倒退问题，部分用户更倾向混合部署方案。

• 在 8–16GB VRAM 的消费级 GPU 上本地运行接近 26B 级别的模型性能
• 无需独立编码器的原生多模态输入（文本、图像、音频、视频）
• Apache 2.0 许可，商用无限制
• 256K token 上下文窗口
• 一条 ollama 命令即可本地部署（ollama run gemma4:12b，下载 7.6GB）
• 2-bit 量化后磁盘占用仅约 4.66GB，极端压缩下仍可运行
• 在 Python bug 定位等代码审阅任务中表现良好（Q5 量化）
• MMLU Pro 得分 77.2%，超过上一代 Gemma 3 27B 的 67.6%

• QAT 量化版本在部分使用场景下性能倒退，从 QAT BF16 转换存在已知问题
• 官方未将编码作为主要训练目标（公告中未提及编码能力），纯编码场景表现不如专用编码模型
• 部分用户更倾向将 Gemma 4 与 Qwen 等模型混合使用以弥补编码短板

截至 2026-07-05