模型 / Bonsai-27B-mlx-1bit (Prism ML)

Bonsai-27B-mlx-1bit (Prism ML)

1-bit 27B 模型, 可在手机和笔记本本地运行推理

作者: prism-ml
对位: 对位 Qwen3.6-27B 及 Gemma-4-31B 的低比特量化版
适合: 手机端本地27B推理 / 262K长上下文处理
不适合: 复杂智能体编程任务
入选理由: 首个手机可运行的27B推理模型，1-bit量化保留90%性能，适合隐私离线场景，需Apple Silicon或CUDA。
规模: 27B · 262K · Q4 ~18GB / FP16 ~65GB
授权: apache-2.0 · 需自查
框架: mlx / llama.cpp / mlx-swift
血统: 量化自 Qwen3.6-27B
国内访问: 需代理
可信度: 公布15项思维模式基准平均76.11分，保留FP16的89.5%，含详细部署说明

社区实测

1-bit 量化大幅压缩模型体积，让 27B 级模型能在手机端运行，但实际推理质量仍不及同尺寸传统量化模型

大幅降低内存占用（14x 压缩，54GB→3.8GB，-93%）
首次让 27B 级模型在手机上运行（约 5GB）
相比此前不可用的 BitNet 研究模型，具备实际可用性

需使用 llama.cpp 定制分支，该分支已落后上游版本
语言能力测试中不及 Qwen3.5-2B 4-bit 量化版
愚人节发布导致初期可信度受影响

来源

The Bonsai 1-bit models are very good Bonsai 27B: 1-bit dense LLM running locally in your browser ...Bonsai 27B: The First 27B-Class Model to Run on a Phone

截至 2026-07-19

本形态显存 Q4 ~18GB / FP16 ~65GB · 国内需代理 · 23 下载

仅 safetensors · 无 pickle 加载风险

快速上手

mlx_lm.generate --model prism-ml/Bonsai-27B-mlx-1bit

本形态源 ↗

下载动量

观测时间线

2026-07-16 · 当日卡片 →

模型家族

Qwen3.6-27B
- 量化 Bonsai-27B (Prism ML)
- 量化 Bonsai-27B-mlx-1bit (Prism ML)
- 量化 Qwen3.6-27B (OBLITERATUS)
- LoRA Qwen3.6-27b-Fable5 (hotdogs)
- 量化 Qwen3.6-27B-GGUF (unsloth)
- 量化 Qwen3.6-27B-MTP-pi-tune (bytkim)
- 量化 Qwen3.6-27B-OptiQ-4bit (mlx-community)
- LoRA Qwopus3.6-27B-v2-MTP-GGUF (Jackrong)
- 量化 Ternary-Bonsai-27B (Prism ML)

查看全部家族 →