Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF (DavidAU)
解禁版Qwen3.6-27B量化模型,为创意写作与代码而生
社区实测
Qwen 3.6 27B的去安全对齐版本,拒绝率从99%降至4%,经Unsloth微调后作者声称在基准测试上超过原版。配合双矩阵量化,Q4ks保持94%全精度,最低IQ2_M(约10.5GB)仍保留约83%性能,显著降低本地部署门槛。
- 去安全对齐:拒绝率从99%降至4%,可回答原版拒绝的敏感话题
- 经Unsloth微调后基准测试得分超过原始Qwen 3.6 27B
- Q4ks量化保持94% BF16全精度性能,兼顾体积与质量
- IQ2_M量化仅约10.5GB,仍保留约83%性能,低显存可跑
- 双矩阵(Di-Matrix)量化在压缩体积的同时保持高达98%原始精度
- 支持llama.cpp、vLLM、Docker Model Runner、Unsloth Studio等多种本地部署方式
- Heretic v2版本已推出且声称拒绝率更低,此版本可能已被迭代
- MoE稀疏变体(如35B A3B)的Heretic版本尚未可用,调优稀疏MoE需大量VRAM和时间
- 无Discord等社区支持渠道
- MTP(多令牌预测)支持状态不明
- IQ2_M级别量化仍有约17%性能损失
- 即使经过Heretic处理,仍有4%拒绝率残留
Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF | Local AI NewsQwen3.6 27B Heretic Uncensored FINETUNE NEO CODE Di IMatrix MAX GGUF - InterfazeDavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF · Hugging FaceDavidAU/Qwen3.6-27B-Heretic2-Uncensored-Finetune-Thinking · Hugging Face@DavidAU on Hugging Face: "Uncensored, Heretic, Qwen 3.6 27B GGUFs..."DavidAU/Qwen3.6-27B-NEO-CODE-Di-IMatrix-MAX-GGUF · Hugging Face
截至 2026-07-05
快速上手
llama-server -hf DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF