SummFlow 2026-07-03 Hugging Face

Ornith-1.0-9B-MTP (protoLabs)

Ornith-9B MTP GGUF：llama.cpp推测解码加速

入选理由
今天能用llama.cpp直接运行，自带多token预测加速，适合需要本地快速推理9B模型的开发者；注意需要llama.cpp b9616+和至少5GB显存。
对位
Qwen3.5-9B 基座, 对位 Llama-3-8B
适合
无需额外草稿模型的推测解码 / 低VRAM场景的批量生成吞吐优化
不适合
要求bitwise一致输出的评测
规模
9B · 未知
授权
MIT · 需自查
框架
llama.cpp
血统
量化自 Ornith-1.0-9B
可信度
RTX A6000 单卡 1.4-1.7x 解码加速，接受率 0.766 与 vLLM 一致，1.4 万次下载

社区实测

社区评价分化：部分用户认可其编码执行能力，但普遍怀疑该模型是对 Qwen 3.6 的衍生微调或 benchmark 针对性优化（'benchmaxxed'），实际体感与 Qwen 3.6 35B 高度相似。

  • 代码重构（code refactor）能力可用
  • 在 Terminal-Bench 2.1 (Claude Code) 基准上，9B 得分 40.6，超过 Qwen3.5-35B 的 38.9
  • 被社区质疑为 'benchmaxxed'（benchmark 针对性优化），生成风格与 Qwen 3.6 35B 几乎无差异
  • 模型体量偏小，缺乏主动发散和创造性建议能力（'too small to be actually that smart'）
  • 35B 版本内置 prompt injection 防护机制，可能干扰正常使用（如上下文隐藏字符串检索被持续拒绝）
  • 有用户认为不如直接使用 opencode/claude code 等工具
来源

Anyone tried Ornith-1.0 9B? : r/LocalLLaMA - RedditUS lab released Ornith-1.0, open weight model which benches ...Ornith-1.0 released on Hugging Face : r/LocalLLaMA - RedditOrnith-1.0 9B Outperforms Qwen 3.6 35B in various benchmarksdeepreinforce-ai/Ornith-1

截至 2026-07-05

快速上手

ollama run hf.co/protoLabsAI/Ornith-1.0-9B-MTP-GGUF