2026-05-27

BitCPM-CANN-8B (OpenBMB)

昇腾原生1.58-bit三元LLM，推理内存降6x，保持95.7%性能

入选理由: 支持GGUF和Transformers快速部署，首个昇腾NPU原生1.58-bit训练模型，性能保留超95%。
对位: 对位 MiniCPM4 8B 全精度版
适合: 昇腾NPU上低内存推理 / 1.58-bit 三元量化研究
不适合: 需BF16全精度的场景
规模: 8B · 未知
授权: apache-2.0 · 可商用
框架: transformers / llama.cpp / ollama
可信度: 11项基准平均保留95.7%全精度性能，推理内存减至1/6，QAT仅多5%训练开销，有GGUF

社区实测

首个原生 1.58-bit 训练的 Ascend NPU 大模型，社区实测反馈尚少，官方宣称支持端侧部署且兼容标准推理框架

端侧部署：8B 模型可在手机、PC、车载设备上运行
兼容标准推理框架：pseudo-quantized 格式可直接像全精度模型一样使用 Transformers/vLLM/SGLang

社区反馈 safetensors 格式变体尚未提供
模型卡缺少 base_model 元数据标注

来源

openbmb/BitCPM-CANN-8B · Hugging Face BitCPM-CANN by ModelBest × @Tsinghua_Uni × OpenBMB is here ...openbmb/BitCPM-CANN-8B · Discussions

截至 2026-06-21

快速上手

ollama create 从 https://huggingface.co/openbmb/BitCPM-CANN-8B-gguf 导入