模型 / Ternary-Bonsai-8B (Prism ML)

Ternary-Bonsai-8B (Prism ML)

三元1.58-bit量化8B模型，苹果芯片本地推理

作者 prism-ml

仓库标识prism-ml/Ternary-Bonsai-8B-mlx-2bit

显存未知许可 可商用任务 文本生成最近核对 2026-08-09
运行内存
格式线索互相矛盾(含估算映射未支持的位宽),无法估算显存
运行时
MLX-LM
下载
16,415

仅 safetensors · 无 pickle 加载风险

Hugging Face 源仓库 ↗

快速上手示例

mlx-lm generate --model prism-ml/Ternary-Bonsai-8B-mlx-2bit

依赖版本和硬件参数请以源仓库说明为准。

适合与不适合

入选理由
极低比特量化模型,在Apple设备上性能优异且体积极小,但仅支持MLX,非Mac用户不可用。
对位
全精度8B模型（Qwen3-8B等）
适合
苹果设备本地AI助手 / 离线文本生成与隐私保护
不适合
非苹果设备或服务器端部署

独立证据与社区反馈

2 个独立来源最近验证 2026-08-09

社区实测共识:Ternary-Bonsai-8B 实际推理质量远逊于宣传,三元版本甚至不如 1-bit 版本

  • 模型体积小(约 782 MB),低配设备可运行
  • 推理速度对低配设备友好
  • 实际质量远不如同体量竞品 Gemma-4-E2B
  • 三元版本答案比 1-bit 版本错误更多
  • 实际表现明显差于营销宣传

可信度下载16k+，评测均分75.5，白皮书，iPhone 27 tok/s

完整规格

规模
8B · 65k · 格式线索互相矛盾(含估算映射未支持的位宽),无法估算显存
授权
Apache-2.0 · 可商用
框架
mlx / mlx-swift
血统
量化自 Ternary-Bonsai-8B-unpacked
访问提示
Hugging Face 可能需要代理

下载动量

30天下载 15.9k → 15.1k

观测时间线