Gemma-4-31B-it-GGUF (LM Studio)

独立证据与社区反馈

15 个独立来源最近验证 2026-08-09

社区共识:这是 31B 级别里性价比拉满的开源权重——数学/编程基准反超 400B+ 规模的竞品,本地跑既快又便宜(「感觉像扔便士」),16GB 显存或 M3 Pro 36GB 都能带得动。口碑扣分点集中在工程面:早期量化与推理模板还在陆续修,MTP 加速在 LM Studio 下常不生效,部分 Apple 配置偏慢,代码偶发低级语法错误。

• 以小博大:31B 参数在数学/编程基准上反超 400B+ 规模的竞品,被社区称为「范式转变」
• 运行成本极低,「像扔便士」:对比昂贵的同类闭源选项,本地跑几乎不花钱
• 低显存可跑:16GB 显存用 IQ3_XS 量化即出不错结果,且能胜任 agentic 编程
• Apple 用户可直接上手:MBP M3 Pro 36GB 无压力,E4B 量化下可尝试 31B
• 工程/代码任务经得起实战:7/8 真实生产测试通过,agentic coding 表现良好
• MTP 加速有效:与 QAT 组合下体验「amazing」,整体提速约 35%/53%
• 角色扮演/创作社区活跃:base 版出人意料地连贯,uncensored 变体广受喜爱

• MTP 在 LM Studio 里标称支持但实际不生效,需要自行升级 NVIDIA 驱动与 llama.cpp 才能用
• 早期量化与模板仍在修复中,社区预计还会有更多修复陆续到来
• 部分 Apple 配置(如 M2 Ultra 128GB)上 8bit/4bit 都明显偏慢,MLX/llama.cpp/LM Studio 全试过依旧
• 代码输出偶发低级语法错误:多打括号、用逗号分隔函数定义,需手动修正
• 部署概念门槛不低:GGUF/Q4/MoE/GPU offload 等名词容易让新手踩坑,需实测确认本地能否流畅跑
• LM Studio 默认设置会关掉 reasoning,默认跑会大幅削弱能力,需手动调整配置
• 速度由内存带宽主导:工作站内存带宽高时 CPU 推理反而快过 RTX 4090,仅堆显卡不解决带宽瓶颈

• 社区实测r/SillyTavernAI on Reddit: Try base gemma 4 31b, you'll be shocked
• 社区实测r/LocalLLaMA on Reddit: Follow-up: Testing Gemma-4-31B-it-UD (Thinking) in LLM Multi-Agent Avalon
• 社区实测Gemma 4 12B: A unified, encoder-free multimodal model | Hacker News
• 社区实测r/LocalLLaMA on Reddit: google/gemma-4-12B · Hugging Face
• 社区实测r/LocalLLaMA on Reddit: What's your experience with Gemma4 QAT?
• 社区实测r/LocalLLaMA on Reddit: Talking with Gemma 4 31B!
• 社区实测r/LocalLLaMA on Reddit: Gemma 4 31B — 4bit is all you need
• 社区实测r/LocalLLaMA on Reddit: Gemma4-26B-A4B & 31B-QAT Uncensored Balanced are out with MTP (35% & 53% speed boost)!
• 独立评测Benchmarking Google Gemma 4 26B and 31B Locally | Enterprise Unified LLM API Gateway (One Key for All Models) | n1n.ai
• 独立评测Practical Gemma 4 Benchmarking with LM Studio - DEV Community
• 独立评测Gemma 4 on Apple Silicon: All Four Models Compared, Benchmarked, and Running Locally - SudoAll
• 社区实测r/LocalLLaMA on Reddit: Gemma 4 31B passed 7/8 real-world production tests — including ones I designed to make it fail. Full prompts + outputs.
• 独立评测Gemma 4: Download, Ollama Setup, E2B/E4B/26B/31B Models [April 2026]
• 社区实测r/LocalLLaMA on Reddit: Benchmark & Reality Check on Gemma 4 12B: Great model, but your local settings are probably breaking it (Fix inside)
• 独立评测Gemma 4: How a 31B Model Beats 400B Rivals [2026]

可信度HuggingFace 下载量 34 万，基于 Google gemma-4-31B-it 量化