归档 / 2026-05-20 / Bonsai-8B-mlx-1bit (PrismML)

Bonsai-8B-mlx-1bit (PrismML)

Apple Silicon 的 1-bit LLM，端侧极低内存推理

Apple Silicon

部署

pip pip install mlx-lm; pip install mlx@git+https://github.com/PrismML-Eng/mlx.git@prism; from mlx_lm import load; load('prism-ml/Bonsai-8B-mlx-1bit')
py Colab 在线试用: https://colab.research.google.com/drive/1EzyAaQ2nwDv_1X0jaC5XiVC3ZREg9bdG

入选理由: 提供Colab在线试用和MLX格式，5分钟可运行；下载量高；端到端1-bit量化，显著降低内存，核心创新。
对位: 对位 Qwen3-8B、Llama 3.1 8B 等全精度模型
适合: iPhone/Mac 本地隐私推理 / 移动端及边缘低功耗部署
不适合: 需全精度浮点的高敏感任务
规模: 8B · 65k
授权: Apache-2.0
框架: mlx / llama.cpp / mlx-swift
可信度: 下载量 15k+，平均分 70.5 接近全精度 8B，内存仅 1.28 GB

评分详情

Q1: 今天能接上用吗 5 / 5
Q2: 有可信证据吗 3 / 5
Q3: 是新东西吗 5 / 5
总分: 13

HuggingFace 原始数据 (抓取于 2026-05-20)

作者: prism-ml
任务类型: text-generation
推理库: mlx
下载: 15,022
点赞: 206
许可证: Apache-2.0
标签: mlx, safetensors, qwen3, 1-bit, mlx-swift, apple-silicon, on-device, prismml, bonsai, text-generation, conversational, base_model:prism-ml/Bonsai-8B-unpacked, base_model:finetune:prism-ml/Bonsai-8B-unpacked, license:apache-2.0, eval-results, region:us

探索