昇腾原生1.58-bit三元LLM,推理内存降6x,保持95.7%性能
适合昇腾NPU上低内存推理 / 1.58-bit 三元量化研究
短板需BF16全精度的场景
8B · apache-2.0 · 未知 · transformers可商用
证据1202 下载 / 74 赞 / 3 个社区来源
昇腾原生1.58-bit三元LLM,推理内存降6x,保持95.7%性能
适合昇腾NPU上低内存推理 / 1.58-bit 三元量化研究
短板需BF16全精度的场景
8B · apache-2.0 · 未知 · transformers可商用
证据1202 下载 / 74 赞 / 3 个社区来源
输入关键词,跨模型 / 数据集 / 空间 / 工具 / 资讯 / 论文 检索