归档 / 2026-05-27 / BitCPM-CANN-8B (OpenBMB)

BitCPM-CANN-8B (OpenBMB)

昇腾原生1.58-bit三元LLM，推理内存降6x，保持95.7%性能

部署

py transformers: AutoModelForCausalLM.from_pretrained('openbmb/BitCPM-CANN-8B')
oll ollama create 从 https://huggingface.co/openbmb/BitCPM-CANN-8B-gguf 导入

入选理由: 支持GGUF和Transformers快速部署，是首个昇腾NPU原生1.58-bit训练模型，性能保留超95%；但缺乏第三方独立评测。
对位: 对位 MiniCPM4 8B 全精度版
适合: 昇腾NPU上低内存推理 / 1.58-bit 三元量化研究
不适合: 需BF16全精度的场景
规模: 8B · 未知
授权: apache-2.0 · 需自查
框架: transformers / llama.cpp / ollama
可信度: 11项基准平均保留95.7%全精度性能，推理内存减至1/6，QAT仅多5%训练开销，有GGUF

评分详情

Q1: 今天能接上用吗 5 / 5
Q2: 有可信证据吗 1 / 5
Q3: 是新东西吗 5 / 5
总分: 11

HuggingFace 原始数据 (抓取于 2026-05-27)

作者: openbmb
任务类型: text-generation
推理库: transformers
下载: 1,202
点赞: 74
许可证: apache-2.0
标签: transformers, pytorch, text-generation, zh, en, license:apache-2.0, endpoints_compatible, region:us

探索