模型 / Granite-4.2-30B (IBM)

Granite-4.2-30B (IBM)

Granite 30B MLX 8-bit,本地推理

作者 ibm-granite

仓库标识ibm-granite/granite-4.2-30b

~32GB 8-bit许可 可商用任务 智能体最近核对 2026-08-28

仅 safetensors · 无 pickle 加载风险

格式
4-bit
文件
~15GB
运行内存
~18GB–23GB
运行时
VLLM
下载
1,791

仅 safetensors · 无 pickle 加载风险

Hugging Face 源仓库 ↗

快速上手示例

vllm serve ibm-granite/granite-4.2-30b

依赖版本和硬件参数请以源仓库说明为准。

适合与不适合

入选理由
Granite 4.2 30B 的 8-bit MLX 量化版,Apple Silicon 可本地跑推理/工具调用,适合 Mac 用户;纯量化无新增能力。
对位
对位 Qwen2.5-32B / Gemma-3-27B
适合
Apple Silicon 本地对话与推理 / 工具调用与多语言生成
不适合
非 Apple Silicon 环境

完整规格

规模
30B · 128K (可扩展 512K) · 下载 ~28GB · 显存最低 ~32GB · 推荐 ~42GB · 8-bit(估算)
授权
Apache-2.0 · 可商用
框架
mlx_lm
血统
量化自 granite-4.2-30b
访问提示
Hugging Face 可能需要代理

下载动量

30天下载 1.8k → 5.2k

观测时间线

模型家族

查看全部家族 →