模型 / Qwen3.5-2B-OptiQ-4bit (mlx-community)

Qwen3.5-2B-OptiQ-4bit (mlx-community)

4-bit混合精度MLX量化Qwen3.5-2B，苹果芯片推理

作者
mlx-community
对位
优于标准MLX 4-bit量化
适合
Apple Silicon本地推理及加速 / 代码生成与工具调用
不适合
长上下文检索 (HashHop 0%)
入选理由
专为 Apple Silicon 优化的 Qwen3.5-2B 混合精度4-bit量化，性能优于均匀4-bit，通过 mlx-lm 一行代码即可运行，适合 Mac 用户本地部署。
规模
2B · 最低 ~2.2GB · 8-bit(估算)
授权
apache-2.0 · 可商用
框架
mlx-lm / mlx-optiq
血统
量化自 Qwen3.5-2B
国内访问
需代理
可信度
3.9k下载,9赞,能力分47.66(超统一4-bit +2.12),HumanEval+11.6%

社区实测

该 2B OptiQ 量化版仅 1.4 GB,定位为本地轻量聊天与分类任务,混合精度方案在同等体积下全面优于统一 4-bit 量化;但 48% 的 Capability Score 明显低于同系列 4B(81.5%)和 9B(90%),社区对这个最小尺寸版本的独立实测讨论较少。

  • 混合精度量化(敏感层 8-bit、鲁棒层 4-bit)在同等磁盘占用下全面超越统一 4-bit 量化
  • 仅 1.4 GB 磁盘占用,适合资源极度受限的本地部署
  • MLX 原生格式,无需 PyTorch 与云端,Apple Silicon 本地即可运行
  • 支持 optiq serve --mtp 一键启动推理服务
  • 可与 Hermes Agent 等工具直接集成
  • Capability Score 仅 48%,远低于同系列 4B(81.5%)和 9B(90%),能力上限有限
  • MLX 模型在 LM Studio 中 prompt caching 目前存在已知 bug
  • 部分 MLX 版 Qwen3.5 存在崩溃和无视设置强行注入 thinking 标签的社区反馈
来源

mlx-community/Qwen3.5-2B-OptiQ-4bit · Hugging FaceQwen3.5 on Apple Silicon: six mlx-optiq quantsMLX Downloading for Local UseIs there a "good" version of Qwen3.5-30B-A3B for MLX?

截至 2026-06-21

本形态 ~2.2GB 8-bit · 国内 需代理 · 3,890 下载

仅 safetensors · 无 pickle 加载风险

快速上手

mlx-lm generate --model mlx-community/Qwen3.5-2B-OptiQ-4bit

本形态源 ↗

下载动量

30天下载 2.3k → 1.4k

观测时间线