gemma-4-E2B-it-GGUF (LM Studio)
谷歌 Gemma 4 指令模型 GGUF 量化版，本地高效部署
社区实测
Gemma 4 是当前最实用的本地开源 LLM 之一——它未必是跑分最高的，但凭借低门槛部署、原生多模态和够用的推理能力，成为许多人日常首选的本地模型。社区普遍认为它足以替代云端 LLM 处理大部分日常任务，尤其在 LM Studio 中开箱即用的体验降低了上手成本。
- 无需高端硬件即可在消费级设备上流畅运行本地 LLM
- 原生多模态：单一模型同时支持文本、图像、视频、音频输入
- 通过 LM Studio 的 OpenAI 兼容 API 端点可快速集成到现有工具链
- 26B 模型在一次性编码问题上得分接近 GPT 5.2 和 Gemini 3 Pro Preview
- 使用 E2B 作为推测解码草稿模型，31B 可达到 120–200 tok/s 输出速度
- LiteRT 引擎下文本生成速度比 Q4 GGUF 快约 2.4 倍
- 在设计相关上下文中比同类模型更精准
- 原生支持 system role，便于结构化对话控制
- QAT 量化感知训练降低内存占用，适合端侧部署
- E2B/E4B 边缘模型体积小到可在手机和平板上运行
- Apache 2.0 许可证，商用友好
- 直接提出敏感问题时模型会拒绝回答，存在内容审查
- KV 缓存占用大，260K 上下文 fp16 下约需 22GB 显存
- 同等显存下可容纳的上下文长度远少于 Qwen 3.5（20k vs 190k）
- Google AI Studio 云端版本体验明显差于本地部署
- 使用工具和自定义框架编写代码时表现不如一次性生成
- MTP 的 assistant 模型尚无 GGUF 量化版本
- llama.cpp 对 Gemma 4 MTP 的支持仍在开发中
- 部分用户认为 Qwen 3.6 27B 在各方面都优于 Gemma 4
- 同时运行多个加载模型的客户端会耗尽内存
Gemma 4 just replaced my whole local LLM stackI finally found an open-source local LLM that actually competes with ...Google's Gemma 4 isn't the smartest local LLM I've run ... - FacebookGemma 4 E4B + E2B Uncensored (Aggressive) — GGUF + K_P ...unsloth/gemma-4-E2B-it-GGUF - Hugging FaceGemma 4 E2B vs E4B: How to Run a Multimodal AI Model on Your ...I ran Gemma 4 as a local model in Codex CLI - Hacker NewsSpeculative decoding with Gemma-4-31B + Gemma-4-E2B enables 120Using Gemma 4 E4B with the LiteRT engine - ~2.4x speedup over ...google/gemma-4-e2b • LM StudioGemma 4 with quantization-aware training - Google BlogGemma 4 by Google: Specs, Benchmarks, and How to Run It Locally ...[observation/test] Gemma 4 being "less restricted" might be an ...Gemma 4 is good : r/LocalLLaMA - RedditGemma 4 12B: A unified, encoder-free multimodal modelUnsloth vs LM Studio vs llama.cpp vs Ollama - DEV Community
截至 2026-06-21
下载动量
观测时间线
模型家族
- gemma-4-E2B-it
- 量化 Gemma-4-12B GGUF 合集 (rahul7star)
- 量化 gemma-4-E2B-it-GGUF (LM Studio)