此页是 2026-07-15 的观测快照,查看该模型当前信息 → /m/prism-ml__ternary-bonsai-27b-mlx-2bit/

归档 / 2026-07-15 / Ternary Bonsai 27B (prism-ml)

Ternary Bonsai 27B (prism-ml)

三元2-bit 27B开源模型，笔记本本地运行推理

Apple Silicon

入选理由: 三元量化使27B模型仅需7GB显存，笔记本上跑出95%全精度性能，适合本地部署大模型、隐私敏感场景和单GPU服务。
对位: 对位 Qwen3.6-27B/Gemma-4-31B 低比特量化
适合: 笔记本端27B推理（~26 tok/s） / 离线/隐私场景长文本理解
不适合: 手机端部署与长链条代理编码
规模: 27B · 262k · Q4 ~18GB / FP16 ~65GB
授权: apache-2.0 · 需自查
框架: mlx / llama.cpp
可信度: 15项基准平均80.49分，MATH-500达99.20，AIME25达90.84

快速上手

llama-server -hf prism-ml/Ternary-Bonsai-27B-gguf

评分详情

Q1: 今天能接上用吗 4 / 5
Q2: 有可信证据吗 1 / 5
Q3: 是新东西吗 5 / 5
总分: 10

HuggingFace 原始数据 (抓取于 2026-07-15)

作者: prism-ml
任务类型: text-generation
推理库: mlx
下载: 6
点赞: 13
许可证: apache-2.0
标签: mlx, safetensors, qwen3_5, conversational, ternary, 2-bit, cuda, metal, on-device, hybrid-attention, prismml, bonsai, text-generation, base_model:Qwen/Qwen3.6-27B, base_model:finetune:Qwen/Qwen3.6-27B, license:apache-2.0, region:us

探索