Grug-12B (kai-os)

紧凑推理微调，减少冗余推理轨迹，降低推理token消耗

作者: kai-os
对位: 对位 Qwen2.5-14B, Gemma 2 9B
适合: 低成本推理服务 / 数学与代码紧凑推理
不适合: 需要长推导的复杂推理
入选理由: 基于Gemma 4的紧凑推理微调，能大幅减少推理token数，适合追求推理效率的开发者，但需自行编写transformers代码，无现成API或Space试用。
规模: 12B · 最低 ~7.2GB · 4-bit(估算)
授权: other · 需自查
框架: transformers / vllm / ollama
血统: 微调自 gemma-4-12B-it
国内访问: 需代理
可信度: 本地36题数学代理评估：准确率100%，总生成token 2482 vs 基础模型8227

社区实测

社区对 KaiOS 评价两极：部分用户认为它够用、契合轻量需求，但更多人指出生态衰退、安全不足

来源

截至 2026-07-12

本形态 ~7.2GB 4-bit · 国内需代理 · 797 下载

仅 safetensors · 无 pickle 加载风险

快速上手

ollama run hf.co/kai-os/Grug-12B

30天下载 1.1k → 1.2k