2026-07-15

Ternary Bonsai 27B (prism-ml)

三元2-bit 27B开源模型，笔记本本地运行推理

Apple Silicon

入选理由: 三元量化使27B模型仅需7GB显存，笔记本上跑出95%全精度性能，适合本地部署大模型、隐私敏感场景和单GPU服务。
对位: 对位 Qwen3.6-27B/Gemma-4-31B 低比特量化
适合: 笔记本端27B推理（~26 tok/s） / 离线/隐私场景长文本理解
不适合: 手机端部署与长链条代理编码
规模: 27B · 262k · Q4 ~18GB / FP16 ~65GB
授权: apache-2.0 · 需自查
框架: mlx / llama.cpp
可信度: 15项基准平均80.49分，MATH-500达99.20，AIME25达90.84

快速上手

llama-server -hf prism-ml/Ternary-Bonsai-27B-gguf