模型 / Granite-4.1-8B-GGUF (IBM)

Granite-4.1-8B-GGUF (IBM)

IBM Granite 4.1 8B的GGUF量化，用于本地推理

作者
lmstudio-community
对位
对位 Llama-3.1-8B
适合
本地CPU推理 / 低资源设备文本生成
不适合
高并发生产环境
入选理由
GGUF格式可直接运行；本质是量化重打包。
规模
8B · 最低 ~4.8GB · 4-bit(估算)
授权
apache-2.0 · 可商用
框架
llama.cpp / LM Studio / ollama
血统
量化自 granite-4.1-8b
国内访问
需代理
可信度
HF下载1015，由LM Studio使用llama.cpp b8994量化

社区实测

社区对这款企业级开源小模型有一定兴趣,实测反馈分化:部分用户认可其在轻量任务上的实用性,但也有用户对其较小变体的表现和数据时效性持保留态度。

  • 企业级开源小模型,可本地部署运行
  • 适合代码自动补全等轻量任务
  • 工具调用能力得到增强
  • 较小变体(如4B)在部分用户场景下表现不佳
  • 训练数据时效性存疑,可能影响实际使用意愿
来源

ibm-granite/granite-4.1-8b · Hugging Face : r/LocalLLaMA - RedditIBM's 8B Model Is Competing With Models Four Times Its Size : r/LocalLLMIBM Granite-4.1 out now! : r/unsloth - RedditGranite 4.1: IBM's 8B Model Matching 32B MoE | Hacker News

截至 2026-06-21

本形态 ~4.8GB 4-bit · 国内 需代理 · 1,015 下载

快速上手

llama.cpp -m granite-4.1-8b.gguf

本形态源 ↗

下载动量

30天下载 5.3k → 5.3k

观测时间线