归档 / 2026-05-21 / Qwen3.5-9B-MTP-GGUF (unsloth)

Qwen3.5-9B-MTP-GGUF (unsloth)

Qwen3.5-9B 多模态模型，MTP 投机解码，本地快速运行

部署

py git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp && cmake -B build -DGGML_CUDA=ON && cmake --build build --target llama-server
py ./llama.cpp/build/bin/llama-server -hf unsloth/Qwen3.5-9B-MTP-GGUF:UD-Q4_K_XL -ngl 99 -fa on --spec-type draft-mtp

入选理由: GGUF直接可用但需编译llama.cpp；下载量5万+；仅为量化重打包，基础模型虽新但本仓库未增新能力。
对位: 官方 Qwen3.5-9B Transformers 版本
适合: 多模态图像理解与文档分析 / 本地 Agent 工具调用场景
不适合: 多进程推理或 mmproj 场景
规模: 9B · 262k (可扩展至1M)
授权: apache-2.0
框架: llama.cpp / unsloth
可信度: 53048次下载，46点赞，MTP解码提速1.5-2倍，Unsloth Dynamic 2.0量化

评分详情

Q1: 今天能接上用吗 5 / 5
Q2: 有可信证据吗 3 / 5
Q3: 是新东西吗 1 / 5
总分: 9

HuggingFace 原始数据 (抓取于 2026-05-21)

作者: unsloth
任务类型: image-text-to-text
推理库: transformers
下载: 53,048
点赞: 46
许可证: apache-2.0
标签: transformers, gguf, unsloth, qwen, qwen3_5, image-text-to-text, base_model:Qwen/Qwen3.5-9B, base_model:quantized:Qwen/Qwen3.5-9B, license:apache-2.0, endpoints_compatible, region:us, conversational

探索