模型 / Granite-4.1-3B-GGUF (IBM)

Granite-4.1-3B-GGUF (IBM)

IBM Granite 4.1 3B GGUF量化，本地推理与边缘部署

作者
lmstudio-community
对位
对位Phi-3-mini、Qwen2.5-3B
适合
本地CPU推理 / 轻量级文本生成助手
不适合
高精度推理或长上下文
入选理由
GGUF格式可直接使用；仅为量化重打包。
规模
3B · 最低 ~1.8GB · 4-bit(估算)
授权
Apache-2.0 · 可商用
框架
llama.cpp / LM Studio
血统
量化自 granite-4.1-3b
国内访问
需代理
可信度
IBM Granite系列，Apache-2.0许可，HuggingFace 582次下载

社区实测

社区认为 Granite 4.1 系列的核心卖点是「训练数据新 + 稳定可靠」，3B 版本以极低硬件门槛适合轻量任务，但在通用能力上不如更大参数的竞品。

  • 仅需约 3GB 内存即可运行 3B 模型，硬件门槛极低
  • 输出风格友好、安全，适合小企业集成到产品中，不易被越狱
  • 训练数据较新，适合代码自动补全等轻量任务
  • 通用场景下不如 Qwen 等更大模型，仅适合自动补全等小任务
  • 上下文填充后生成速度可能下降
来源

IBM Granite-4.1 out now! : r/unsloth - RedditIntroducing the IBM Granite 4.1 family of models (3B/8B/30B) - RedditGranite 4.1: IBM's 8B Model Matching 32B MoE | Hacker NewsI Tested IBM's 8B Granite 4.1 — It Cheated Its Own 32B MoE on All ...

截至 2026-06-19

本形态 ~1.8GB 4-bit · 国内 需代理 · 582 下载

快速上手

llama.cpp -m granite-4.1-3b-Q4_K_M.gguf

本形态源 ↗

下载动量

30天下载 3.4k → 3.4k

观测时间线