此页是 2026-09-18 的观测快照,查看该模型当前信息 → /m/prism-ml__ternary-bonsai-2-27b-gguf/

归档 / 2026-09-18 / Ternary-Bonsai-2-27B (Prism ML)

Ternary-Bonsai-2-27B (Prism ML)

27B 三元权重 GGUF，端侧/单卡推理

入选理由: 这个模型把27B模型压到5.9GB,保留大部分推理能力,但需要专用llama.cpp fork,标准工具无法直接运行。适合追求极致低比特部署的开发者。
对位: 对位 Qwen3.8-27B 低比特量化版
适合: 单卡/笔记本本地 27B 思考推理 / 低体积长上下文 agent 工具调用
不适合: 标准 llama.cpp 直接部署
规模: 27B · 262K · Q4 ~18GB / FP16 ~65GB
授权: Apache 2.0 · 需自查
框架: llama.cpp (PrismML fork)
血统: 量化自 Qwen3.8-27B
可信度: 基于 Qwen3.8-27B，14项基准avg84.78，体积5.95GB

快速上手示例

ollama run hf.co/prism-ml/Ternary-Bonsai-2-27B-gguf

依赖版本和硬件参数请以源仓库说明为准。

评分详情

Q1: 今天能接上用吗 3 / 5
Q2: 有可信证据吗 1 / 5
Q3: 是新东西吗 4 / 5
总分: 8

HuggingFace 原始数据 (抓取于 2026-09-18)

作者: prism-ml
任务类型: text-generation
推理库: llama.cpp
下载: 0
点赞: 124
许可证: Apache 2.0
标签: llama.cpp, gguf, ternary, 2-bit, llama-cpp, cuda, metal, on-device, hybrid-attention, prismml, bonsai, text-generation, base_model:Qwen/Qwen3.8-27B, base_model:quantized:Qwen/Qwen3.8-27B, license:apache-2.0, endpoints_compatible, region:us, conversational

探索