此页是 2026-05-22 的观测快照,查看该模型当前信息 → /m/prism-ml__ternary-bonsai-8b-mlx-2bit/

归档 / 2026-05-22 / Ternary-Bonsai-8B (Prism ML)

Ternary-Bonsai-8B (Prism ML)

三元1.58-bit量化8B模型，苹果芯片本地推理

Apple Silicon

入选理由: 极低比特量化模型,在Apple设备上性能优异且体积极小,但仅支持MLX,非Mac用户不可用。
对位: 全精度8B模型（Qwen3-8B等）
适合: 苹果设备本地AI助手 / 离线文本生成与隐私保护
不适合: 非苹果设备或服务器端部署
规模: 8B · 65k · Q4 ~0.4GB / FP16 ~1.5GB
授权: Apache-2.0 · 可商用
框架: mlx / mlx-swift
血统: 量化自 Ternary-Bonsai-8B-unpacked
可信度: 下载16k+，评测均分75.5，白皮书，iPhone 27 tok/s

仅 safetensors · 无 pickle 加载风险

社区实测

作为 1-bit/1.58-bit 极低比特模型能跑起来已是奇迹,但实际智能水平明显弱于同量级常规模型,社区评价两极分化。

极低比特(1-bit/1.58-bit)下仍可运行,对资源极度受限场景有探索价值
推理速度快

实际智能远弱于 Gemma-4-E2B 等常规 2B 模型
Ternary(1.58-bit)版本回答甚至比 1-bit 版本更差
在 benchmark 上被 Ministral 3B 略微超过,8B 体量未转化为对应能力
不适合需要强推理能力的实际任务

来源

Bonsai models are pure hype: Bonsai-8B is MUCH dumber than Gemma-4-E2B PrismML — Introducing Ternary Bonsai: Top Intelligence at 1.58 Bits You guys seen this? 1-bit model with an MMLU-R of 65.7, 8B params

截至 2026-06-21

快速上手示例

mlx-lm generate --model prism-ml/Ternary-Bonsai-8B-mlx-2bit

依赖版本和硬件参数请以源仓库说明为准。

评分详情

Q1: 今天能接上用吗 5 / 5
Q2: 有可信证据吗 3 / 5
Q3: 是新东西吗 5 / 5
总分: 13

HuggingFace 原始数据 (抓取于 2026-05-22)

作者: prism-ml
任务类型: text-generation
推理库: mlx
下载: 16,415
点赞: 101
许可证: Apache-2.0
标签: mlx, safetensors, qwen3, ternary, 1.58-bit, mlx-swift, apple-silicon, on-device, prismml, bonsai, text-generation, conversational, base_model:prism-ml/Ternary-Bonsai-8B-unpacked, base_model:finetune:prism-ml/Ternary-Bonsai-8B-unpacked, license:apache-2.0, eval-results, region:us

探索