SummFlow 2026-07-13 Hugging Face

Qwythos-9B-v2-GGUF (Empero AI)

修复循环的Qwen3.5推理模型GGUF,支持1M上下文与视觉

入选理由
提供现成GGUF,支持Ollama/llama.cpp直接运行,1M上下文和多模态,适合需要本地高效推理的开发者;但本质是量化版本,无新能力突破。
对位
对位 Qwen3.5-9B、Llama-3-8B
适合
长文档推理与多模态问答 / 本地私有部署的思维链推理
不适合
极高精度视觉任务(视觉塔未微调)
规模
9B · 1M · Q4 ~5.9GB / FP16 ~22GB
授权
Apache-2.0 · 需自查
框架
llama.cpp / ollama / lm-studio
血统
量化自 Qwythos-9B-v2
可信度
HuggingFace 15k+ 下载,71 赞;FTPO 消除循环(6.7%→0%),社区标准 GGUF 量化

快速上手

ollama run hf.co/empero-ai/Qwythos-9B-v2-GGUF:Q4_K_M