模型 / Granite-4.2-8B-MLX-6bit (LM Studio)

Granite-4.2-8B-MLX-6bit (LM Studio)

Granite 4.2 8B 的 MLX 6-bit 量化

作者 lmstudio-community

仓库标识lmstudio-community/granite-4.2-8b-MLX-6bit

~4.8GB 4-bit许可 可商用任务 智能体最近核对 2026-08-30
格式
4-bit
文件
~4.2GB
运行内存
~4.8GB–6.2GB
运行时
MLX_LM
下载
197

仅 safetensors · 无 pickle 加载风险

Hugging Face 源仓库 ↗

快速上手示例

mlx_lm.generate --model lmstudio-community/granite-4.2-8b-MLX-6bit

依赖版本和硬件参数请以源仓库说明为准。

适合与不适合

入选理由
这是 Granite 4.2 8B 的 Apple Silicon 6-bit 量化版,可在 LM Studio 直接加载,适合 Mac 用户本地跑推理。
对位
对位 Qwen2.5-7B / Llama-3-8B
适合
Apple Silicon 本地推理 / 多语言文本生成
不适合
非 Apple Silicon 部署

完整规格

规模
8B · 下载 ~4.2GB · 显存最低 ~4.8GB · 推荐 ~6.2GB · 4-bit(估算)
授权
apache-2.0 · 可商用
框架
mlx
血统
量化自 granite-4.2-8b
访问提示
Hugging Face 可能需要代理

下载动量

30天下载 67 → 397

观测时间线

模型家族

查看全部家族 →