Qwen3.8-27B 去安全限制 GGUF，供角色扮演与创作
适合角色扮演与创意写作 / 去拒绝机制与文本生成研究
短板生产环境内容审核或未成年人环境
Q4 ~18GB / FP16 ~65GB · Apache-2.0 · 262k · llama.cpp需自查
证据245.3k 下载 / 160 赞
本期 (8)
Qwen3.8-27B 微调 GGUF，减思考 token 支持视觉
适合代码、推理与图像理解 / 创意写作与角色扮演
短板未提供原生工具调用格式
Q4 ~18GB / FP16 ~65GB · Apache-2.0 · 256k · llama.cpp需自查
证据88.3k 下载 / 109 赞
9B 蒸馏推理模型 GGUF 量化,本地部署用
适合本地 GGUF 推理部署 / 数学与通用知识问答
短板旧版 llama.cpp 环境
Q4 ~5.9GB / FP16 ~22GB · apache-2.0 · 未知 · llama.cpp需自查
证据71.6k 下载 / 101 赞
27B 未审查 GGUF，带视觉与 FastMTP
适合无拒答直接回复的本地生成 / 视觉输入与 FastMTP 推测解码加速
短板需要安全过滤和合规审核的生产环境
Q4 ~18GB / FP16 ~65GB · Apache-2.0 · 262k 原生 · llama.cpp需自查
证据131.1k 下载 / 281 赞
去拒绝版 Qwen3.8-27B GGUF，多模态本地推理
适合本地多模态问答/图像描述 / 受控环境下研究去拒绝效果
短板生产或公开场景
Q4 ~18GB / FP16 ~65GB · apache-2.0 · 262k · ollama需自查
证据94.2k 下载 / 169 赞
Qwen3.8 草稿模型，用于 SGLang/vLLM 投机解码
适合配合 Qwen3.8-27B 做投机解码加速 / SGLang/vLLM 推理吞吐优化
短板独立自回归生成
Q4 ~1.3GB / FP16 ~4.6GB · apache-2.0 · 未知 · sglang需自查
证据1484 下载 / 93 赞
27B 图像-文本到文本 GGUF，本地推理
适合本地图像理解与问答 / 27B 级模型部署验证
短板商业部署（许可未知）
Q4 ~18GB / FP16 ~65GB · unknown · 未知 · llama.cpp需自查
证据26.5k 下载 / 183 赞
全参蒸馏 9B 推理模型，面向数学/代码/工具调用
适合数学与代码链式推理 / 工具调用与指令遵循
短板视觉多模态任务（未评估）
Q4 ~6.4GB / FP16 ~23GB · Apache-2.0 · 262k · transformers需自查
证据4354 下载 / 139 赞