North-Mini-Code-1.0 (Cohere)

30B总/3B激活的MoE代码代理模型，专注代码生成与终端任务

入选理由: Cohere的30B激活3B MoE代码模型，量化后本地可跑，支持工具调用和256K上下文，需手动编译llama.cpp分支。
对位: 对位 Qwen2.5-Coder-7B (7B 全参)
适合: 本地代码生成与代理 / 带工具调用的自动化开发
不适合: 非代码的通用对话
规模: 30B总 / 3B激活 · 256K
授权: Apache-2.0 · 可商用
框架: transformers / vllm / llama.cpp
工具调用: Cohere command4 格式
血统: 量化自 North-Mini-Code-1.0
可信度: 下载量 11376，Apache-2.0 许可，Cohere 官方发布，附详细本地部署与评测说明

社区实测

社区认为这是一款有潜力的专项编程模型，编程能力接近更大参数量的模型，但通用基准落后且输出偏冗长。

单张 H100 即可运行的开放权重编程模型
编程专项能力接近 Qwen 3.6 35B 水平
支持 256K 上下文与 64K 输出的 agentic 编程工作流

输出量约为同类模型 3 倍，生产环境中推理成本偏高
通用基准得分(28)明显落后于 Qwen 3.6 35B(43)

来源

Cohere North Mini Code 1.0 : r/LocalLLaMA - Reddit Cohere open-sources a coding agent that runs on a single H100

截至 2026-06-19

快速上手

llama-server -hf unsloth/North-Mini-Code-1.0-GGUF --model North-Mini-Code-1.0-UD-Q4_K_XL.gguf --jinja --n-gpu-layers 99 --ctx-size 16384 (需llama.cpp PR #24260)