Gemma 4 12B GGUF 量化版，本地多模态推理。
适合多模态对话与长文本理解 / 本地量化推理与移动端部署
短板需要全精度 BF16 的场景
12B · Apache 2.0 · 256K · llama.cpp可商用
证据4674 下载 / 63 赞 / 11 个社区来源
本期 (13)
12B开源对话模型QAT量化，可本地CPU/GPU推理
适合本地对话与内容生成（Q4量化） / 构建离线AI助手或RAG问答
短板复杂数学推理与高精度代码生成
12B · Apache-2.0 · 未知 · llama.cpp可商用
证据19.4k 下载 / 3 赞 / 10 个社区来源
Google 31B QAT 对话模型，GGUF 本地部署
适合本地聊天机器人部署 / CPU/低显存推理对话
短板高精度数学/代码生成
31B · Apache 2.0 · 未知 · llama.cpp可商用
证据7171 下载 / 1 赞 / 12 个社区来源
Apple Silicon的Qwen3.6-27B 4bit混合量化版
- Apple Silicon
- 已量化
适合Apple Silicon本地推理 / 代码/工具调用/Agent
短板非Apple Silicon设备
Q4 ~18GB / FP16 ~65GB · Apache-2.0 · 未知 · mlx-lm可商用
证据16.2k 下载 / 27 赞 / 7 个社区来源
Qwen3.6-27B 的 MLX 推理加速版供苹果芯片
- Apple Silicon
- 已量化
适合Apple Silicon 本地代码生成 / 低延迟对话应用
短板非苹果芯片设备
Q4 ~3.1GB / FP16 ~11GB · Apache-2.0 · 未知 · mlx可商用
证据44.5k 下载 / 35 赞 / 13 个社区来源
量化 Gemma-4，本地运行对话与指令
适合本地资源受限的对话系统 / 需要快速响应的指令任务
短板复杂多步推理与专业知识
26B (4B active) · apache-2.0 · 未知 · llama.cpp可商用
证据8334 下载 / 3 赞 / 11 个社区来源
Google Gemma 4 12B QAT GGUF，本地多模态推理
适合多模态文档理解与OCR / 代码生成与推理
短板移动端低内存设备
12B · Apache-2.0 · 256K · llama.cpp可商用
证据14.7k 下载 / 98 赞 / 9 个社区来源
4-bit混合精度MLX量化Qwen3.5-2B，苹果芯片推理
- Apple Silicon
- 已量化
适合Apple Silicon本地推理及加速 / 代码生成与工具调用
短板长上下文检索 (HashHop 0%)
Q4 ~0.3GB / FP16 ~1GB · apache-2.0 · 未知 · mlx-lm可商用
证据3890 下载 / 9 赞 / 4 个社区来源
文本到图像生成模型，Ideogram 4 的 FP8 量化版本
适合FP8 量化图像生成 / 艺术与设计原型
短板高精度原版生成
未知 · other · 未知 · diffusers需自查
证据2818 下载 / 313 赞 / 3 个社区来源
Gemma 4 2B 指令 GGUF，本地推理
适合本地指令跟随 / 移动/边缘设备推理
短板长上下文任务
2B · apache-2.0 · 未知 · llama.cpp可商用
证据314 下载 / 7 个社区来源
Google Gemma 4 量化版，本地消费级硬件推理
适合本地聊天助手 / 边缘设备文本生成
短板高吞吐生产环境（仅4B）
4B · Apache-2.0 · 未知 · llama.cpp可商用
证据419 下载 / 10 个社区来源
苹果芯片4-bit MLX 量化 Qwen3.5-0.8B
- Apple Silicon
- 已量化
适合Apple Silicon 本地推理 / 工具调用与代码生成
短板非 Apple Silicon 平台
Q4 ~0.1GB / FP16 ~0.4GB · Apache 2.0 · 未知 · mlx-lm可商用
证据4860 下载 / 19 赞 / 5 个社区来源
Apple Silicon 4-bit MLX混精量化+MTP投机解码
- Apple Silicon
- 已量化
适合Apple Silicon本地推理 / 代码/Agent/约束指令
短板非Apple Silicon平台
Q4 ~23GB / FP16 ~83GB · Apache-2.0 · 未知 · mlx可商用
证据9077 下载 / 14 赞 / 6 个社区来源