SummFlow 2026-06-07 Hugging Face

Qwen3.5-2B-OptiQ-4bit (mlx-community)

4-bit混合精度MLX量化Qwen3.5-2B，苹果芯片推理

  • Apple Silicon
  • 已量化
入选理由
专为 Apple Silicon 优化的 Qwen3.5-2B 混合精度4-bit量化，性能优于均匀4-bit，通过 mlx-lm 一行代码即可运行，适合 Mac 用户本地部署。
对位
优于标准MLX 4-bit量化
适合
Apple Silicon本地推理及加速 / 代码生成与工具调用
不适合
长上下文检索 (HashHop 0%)
规模
2B · 未知 · Q4 ~0.3GB / FP16 ~1GB
授权
apache-2.0 · 可商用
框架
mlx-lm / mlx-optiq
血统
量化自 Qwen3.5-2B
可信度
3.9k下载,9赞,能力分47.66(超统一4-bit +2.12),HumanEval+11.6%

仅 safetensors · 无 pickle 加载风险

社区实测

该 2B OptiQ 量化版仅 1.4 GB,定位为本地轻量聊天与分类任务,混合精度方案在同等体积下全面优于统一 4-bit 量化;但 48% 的 Capability Score 明显低于同系列 4B(81.5%)和 9B(90%),社区对这个最小尺寸版本的独立实测讨论较少。

  • 混合精度量化(敏感层 8-bit、鲁棒层 4-bit)在同等磁盘占用下全面超越统一 4-bit 量化
  • 仅 1.4 GB 磁盘占用,适合资源极度受限的本地部署
  • MLX 原生格式,无需 PyTorch 与云端,Apple Silicon 本地即可运行
  • 支持 optiq serve --mtp 一键启动推理服务
  • 可与 Hermes Agent 等工具直接集成
  • Capability Score 仅 48%,远低于同系列 4B(81.5%)和 9B(90%),能力上限有限
  • MLX 模型在 LM Studio 中 prompt caching 目前存在已知 bug
  • 部分 MLX 版 Qwen3.5 存在崩溃和无视设置强行注入 thinking 标签的社区反馈
来源

mlx-community/Qwen3.5-2B-OptiQ-4bit · Hugging FaceQwen3.5 on Apple Silicon: six mlx-optiq quantsMLX Downloading for Local UseIs there a "good" version of Qwen3.5-30B-A3B for MLX?

截至 2026-06-21

快速上手

mlx-lm generate --model mlx-community/Qwen3.5-2B-OptiQ-4bit