模型 / Ternary-Bonsai-8B (Prism ML)

Ternary-Bonsai-8B (Prism ML)

三元1.58-bit量化8B模型，苹果芯片本地推理

作者
prism-ml
对位
全精度8B模型（Qwen3-8B等）
适合
苹果设备本地AI助手 / 离线文本生成与隐私保护
不适合
非苹果设备或服务器端部署
入选理由
极低比特量化模型,在Apple设备上性能优异且体积极小,但仅支持MLX,非Mac用户不可用。
规模
8B · 65k · 最低 ~2.2GB · ternary(估算)
授权
Apache-2.0 · 可商用
框架
mlx / mlx-swift
血统
量化自 Ternary-Bonsai-8B-unpacked
国内访问
需代理
可信度
下载16k+，评测均分75.5，白皮书，iPhone 27 tok/s

社区实测

作为 1-bit/1.58-bit 极低比特模型能跑起来已是奇迹,但实际智能水平明显弱于同量级常规模型,社区评价两极分化。

  • 极低比特(1-bit/1.58-bit)下仍可运行,对资源极度受限场景有探索价值
  • 推理速度快
  • 实际智能远弱于 Gemma-4-E2B 等常规 2B 模型
  • Ternary(1.58-bit)版本回答甚至比 1-bit 版本更差
  • 在 benchmark 上被 Ministral 3B 略微超过,8B 体量未转化为对应能力
  • 不适合需要强推理能力的实际任务
来源

Bonsai models are pure hype: Bonsai-8B is MUCH dumber than Gemma-4-E2BPrismML — Introducing Ternary Bonsai: Top Intelligence at 1.58 BitsYou guys seen this? 1-bit model with an MMLU-R of 65.7, 8B params

截至 2026-06-21

本形态 ~2.2GB ternary · 国内 需代理 · 16,415 下载

仅 safetensors · 无 pickle 加载风险

快速上手

mlx_lm.load('prism-ml/Ternary-Bonsai-8B-mlx-2bit')

本形态源 ↗

下载动量

30天下载 7.9k → 15.2k · likes +10

观测时间线