Qwen3.6-27B-MTP-pi-tune (bytkim)
面向无思考代理编码的MTP微调版，本地GGUF推理
社区实测
社区普遍认为 Qwen3.6-27B 是 2026 年最强的本地可跑密集模型之一,在编程和结构化任务上表现突出,常被拿来与 Claude Code 对比且被认为能「撑住」;MTP 用三个 flag 就能提速约 20%,16-20GB 显存即可跑量化版,部署门槛友好。
- 在本地 agentic coding 场景下实际能顶住 Claude Code 的对比(社区实测反馈)
- 结构化规划任务中比 35B-A3B MoE 输出更干净一致,适合需要深思熟虑的工作
- MTP 在 llama.cpp 上仅需三个 flag 即可获得约 20% 速度提升,无需额外 draft 模型
- 量化后仅需约 20GB 显存,消费级硬件可跑
- 密集架构避免了 MoE 路由复杂度,行为更可预测
- 原生 262K 上下文窗口,可通过 YaRN 扩展至约 1M tokens
- 原生支持文本、图像、视频多模态输入
- Apache 2.0 开源协议,可商用
- MTP 在 max-token 设置较低时,代码质量可能不如搭配 Qwen3.5-0.8B 做 draft model 的方案
- 在部分基准测试上仍落后于 Qwen3.5 27B 和 Gemma 4 31B,并非全面领先
- SVG/图像生成质量不稳定,社区测试中与 GLM 5.1 等模型对比有明显差距
- 日常快速响应场景下比 35B-A3B MoE 慢,不适合追求即时速度的轻量任务
- FP8 精度下消费级 GPU 吞吐仍受限,缺乏 NVFP4 支持时理论速度约 38 tok/s
- 开启 thinking/reasoning 模式会增加延迟和 token 消耗
来源
Qwen3.6:27b is the first local model that actually holds up against Claude Code for meComparing Qwen3.6 35B and New 27B for coding primitivesQwen3.6 27B Gets 20% Faster with MTP and llama.cpp LocallyQwen3.6-27B: Flagship-Level Coding in a 27B Dense Model | Hacker NewsQwen3.6-27B: 27B Model Beats 397B on Coding (2026)Qwen3.6-27B-MTP Benchmarks — Compare GPU PerformanceQwen3.6-27B MTP inferior to draft-model 3.5-0.8B?Gemma 4 31B vs Qwen3.5 27B - The KaitchupWhat's the best speed we can get with Qwen 3.6 27B without quantizing?Qwen3.6 27B really good?
截至 2026-06-21
快速上手
ollama run hf.co/bytkim/Qwen3.6-27B-MTP-pi-tune-GGUF