Gemma4-Gutenberg-31B-Heretic-mlx-8Bit (ailexleon)

社区实测

Gemma 4 31B 基准表现强劲，以 31B 参数规模匹敌大数十倍的模型，但社区部署反馈两极：推理速度明显慢于 Qwen 3.5，KV 缓存占用大导致同等显存下可用的上下文长度远不及竞品；Heretic 去审查版本在创意写作场景受认可，但 8-bit 量化质量可能不如 4-bit。Apache 2.0 许可被社区视为比跑分更重要的企业友好信号。

• Heretic 版本通过 ARA 方法移除了 Gemma 4 的安全对齐，实现去审查输出
• 社区反馈 Gemma 4 在创意写作方面表现更好，Heretic 版本进一步降低了拒绝率
• Apache 2.0 许可证消除了企业对 Google 使用政策单方面变更的依赖风险
• 31B 参数规模即可在 Arena AI Elo 上匹敌 600B 级模型，大幅降低了本地运行门槛
• AIME 数学基准从 Gemma 3 的约 20-29% 跃升至 80% 以上，代际提升显著
• 已有面向 Apple Silicon 的 MLX 8-bit 量化版本，可在 Mac 上本地运行
• SWA 机制一定程度上缓解了 KV 缓存膨胀问题

• 8-bit 量化质量存疑：有测试显示 4-bit 得分与 16-bit 持平（21/23），而 8-bit 反而更低（20/23）
• 推理速度远慢于 Qwen 3.5：同硬件下仅 11 t/s，Qwen 3.5 可达 60 t/s
• KV 缓存占用巨大：完整 260K 上下文 fp16 需约 22GB 显存，远不如 Qwen 3.5 紧凑
• 同等显存下可用上下文远少于 Qwen 3.5（约 20K vs 190K）
• Google AI Studio 托管的 Gemma 4 版本被社区评价为体验很差
• 有用户认为 Gemma 4 在非编程任务上完全无用

截至 2026-07-05