归档 / 2026-05-22 / Ternary-Bonsai-8B (Prism ML)

Ternary-Bonsai-8B (Prism ML)

三元1.58-bit量化8B模型，苹果芯片本地推理

Apple Silicon

部署

py mlx_lm.load('prism-ml/Ternary-Bonsai-8B-mlx-2bit')
py mlx-lm generate --model prism-ml/Ternary-Bonsai-8B-mlx-2bit

入选理由: 极低比特量化模型,在Apple设备上性能优异且体积极小,但仅支持MLX,非Mac用户不可用。
对位: 全精度8B模型（Qwen3-8B等）
适合: 苹果设备本地AI助手 / 离线文本生成与隐私保护
不适合: 非苹果设备或服务器端部署
规模: 8B · 65k · Q4 ~0.4GB / FP16 ~1.5GB
授权: Apache-2.0 · 需自查
框架: mlx / mlx-swift
可信度: 下载16k+，评测均分75.5，白皮书，iPhone 27 tok/s

评分详情

Q1: 今天能接上用吗 5 / 5
Q2: 有可信证据吗 3 / 5
Q3: 是新东西吗 5 / 5
总分: 13

HuggingFace 原始数据 (抓取于 2026-05-22)

作者: prism-ml
任务类型: text-generation
推理库: mlx
下载: 16,415
点赞: 101
许可证: Apache-2.0
标签: mlx, safetensors, qwen3, ternary, 1.58-bit, mlx-swift, apple-silicon, on-device, prismml, bonsai, text-generation, conversational, base_model:prism-ml/Ternary-Bonsai-8B-unpacked, base_model:finetune:prism-ml/Ternary-Bonsai-8B-unpacked, license:apache-2.0, eval-results, region:us

探索