模型 / Ternary-Bonsai-27B (Prism ML)

Ternary-Bonsai-27B (Prism ML)

三元权重 27B 推理模型,笔记本本地运行

作者 prism-ml

仓库标识prism-ml/Ternary-Bonsai-27B-gguf

显存未知许可 可商用任务 文本生成最近核对 2026-08-05
运行内存
格式线索互相矛盾(含估算映射未支持的位宽),无法估算显存
运行时
OLLAMA
下载
23

Hugging Face 源仓库 ↗

快速上手示例

ollama run hf.co/prism-ml/Ternary-Bonsai-27B-gguf

依赖版本和硬件参数请以源仓库说明为准。

适合与不适合

入选理由
可在笔记本上以7.2GB运行27B级别模型,保留95%性能,三进制权重新范式,适合本地离线部署。
对位
对位 Qwen3.6-27B IQ2_XXS 等 2-bit 量化
适合
笔记本端侧推理 27B 模型 / 长上下文 (262K) 离线分析
不适合
手机直接部署

独立证据与社区反馈

5 个独立来源最近验证 2026-08-05

三元量化体积优势明显,体感优于传统 Q2 但明显不及 Q4,工具调用场景表现亮眼,常规对话质量与同规模常规量化仍有差距。

  • 在不到传统 Q2_XXS 三分之二的体积下提供更高思考基准得分
  • 27B 级多模态模型首次可在普通笔记本和手机上本地运行
  • 工具调用出色,回复详尽准确
  • 质量明显不如 Q4 量化,PPL(13.8)接近 Q4(7.3)的两倍
  • 在 KB 问答场景下,传统 Q2_K_XL 在指令遵循和内容理解上表现更好

可信度80.49 平均分在 15 项思考基准上,保留 FP16 的 95%,部署仅 7.2GB

完整规格

规模
27B · 262K · 格式线索互相矛盾(含估算映射未支持的位宽),无法估算显存
授权
Apache-2.0 · 可商用
框架
llama.cpp / mlx
血统
量化自 Qwen3.6-27B
访问提示
Hugging Face 可能需要代理

下载动量

30天下载 639.1k → 651k · likes +104

在线体验

观测时间线

模型家族

查看全部家族 →