Gemma-4-31B-QAT-GGUF (unsloth)

独立证据与社区反馈

10 个独立来源 · 另 2 官方/转载最近验证 2026-08-09

社区整体认可 Unsloth 的 QAT 量化:4-bit 下仍能保留接近原版的精度(top-1 与 BF16 一致率约 96.7%),显存占用比标准 int4 再省约 72%,实测明显优于 Google 官方朴素 Q4_0,是显存受限时兼顾质量与省显存的性价比之选;但个别实测反映数学、指令遵循与工具调用不如 Q8 高精度量化,口碑存在分化。

• 4-bit 下保留接近原版的精度:QAT Q4_K_XL 与 QAT BF16 的 top-1 token 一致率约 96.7%
• 大幅降低显存占用:官方称较标准 int4 少用约 72% 内存,同时接近原始精度
• 明显优于 Google 官方朴素的 Q4_0 GGUF,社区认为 Q5 以上动态量化的质量差距更明显
• 相比其他厂商的量化表现更好(如明显优于 Poolside 的 Laguna S Q4)
• QAT 方案在真实应用中更能保留关键信息,社区评价优于普通静态量化
• 提供 MTP 版本,带来明显推理提速(官方称 35%/53%)
• 4-bit Dynamic QAT 在 5-shot MMLU 上表现更好且体积更小
• 与朴素 Q4_0 在 KL 散度上差距显著(官方 E2B 例为约 29 倍改善)

• 个别实测 31B QAT 数学能力明显不如 Q8
• 同样实测反馈忽略系统提示、不调用工具
• 部分用户质疑专门选用 Unsloth GGUF 的必要性,认为自量化即可
• 社区对 QAT 与标准量化的对比基准数据存疑,认为需要更严谨验证或挑错
• 对比结果常被压成单一数字,易导致误读
• 追求速度时,NVFP4 等方案质量已接近 unsloth Q3 且快得多(如 GB10 等带宽受限设备)
• 与 Qwen3.6-27B 等主流竞品的选择之争仍缺社区实证结论

• 社区实测Gemma 4 26B/31B Q4 QAT vs Q4/Q5/Q6/Q8
• 社区实测Gemma 4 QAT GGUFs from Unsloth
• 社区实测Unsloth Gemma 4 QAT MTP assistant models now available
• 社区实测Gemma 4 31B GGUF quants ranked by KL divergence (unsloth, bartowski, lmstudio-community, ggml-org)
• 社区实测Anyone seen benchmarks comparing Gemma 4 4-bit QAT vs. 8-bit standard quants?
• 社区实测Gemma4-31b better than Qwen3.6-27b
• 社区实测Gemma 4 26B A4B IT QAT Comparison
• 社区实测Gemma 4 31B QAT Q4 vs standard Q4 — Top1 KLD benchmark results have me confused. Someone please explain or poke holes in this.
• 独立评测Gemma 4 QAT | Unsloth Documentation
• 独立评测Unsloth Dynamic 2.0 GGUFs | Unsloth Documentation
• 官方/厂商unsloth/gemma-4-31B-it-qat-GGUF · Hugging Face
• 官方/厂商unsloth/gemma-4-31B-it-qat-GGUF · Gemma-4 QAT Special Unsloth quants

可信度下载量 64k+，基于 Google 官方 QAT 量化，Unsloth 社区维护