此页是 2026-06-07 的观测快照,查看该模型当前信息 → /m/mlx-community__qwen35-2b-optiq-4bit/

归档 / 2026-06-07 / Qwen3.5-2B-OptiQ-4bit (mlx-community)

Qwen3.5-2B-OptiQ-4bit (mlx-community)

4-bit混合精度MLX量化Qwen3.5-2B，苹果芯片推理

  • Apple Silicon
  • 已量化
入选理由
专为 Apple Silicon 优化的 Qwen3.5-2B 混合精度4-bit量化，性能优于均匀4-bit，通过 mlx-lm 一行代码即可运行，适合 Mac 用户本地部署。
对位
优于标准MLX 4-bit量化
适合
Apple Silicon本地推理及加速 / 代码生成与工具调用
不适合
长上下文检索 (HashHop 0%)
规模
2B · 未知 · Q4 ~0.3GB / FP16 ~1GB
授权
apache-2.0 · 可商用
框架
mlx-lm / mlx-optiq
血统
量化自 Qwen3.5-2B
可信度
3.9k下载,9赞,能力分47.66(超统一4-bit +2.12),HumanEval+11.6%

仅 safetensors · 无 pickle 加载风险

社区实测

该 2B OptiQ 量化版仅 1.4 GB,定位为本地轻量聊天与分类任务,混合精度方案在同等体积下全面优于统一 4-bit 量化;但 48% 的 Capability Score 明显低于同系列 4B(81.5%)和 9B(90%),社区对这个最小尺寸版本的独立实测讨论较少。

  • 混合精度量化(敏感层 8-bit、鲁棒层 4-bit)在同等磁盘占用下全面超越统一 4-bit 量化
  • 仅 1.4 GB 磁盘占用,适合资源极度受限的本地部署
  • MLX 原生格式,无需 PyTorch 与云端,Apple Silicon 本地即可运行
  • 支持 optiq serve --mtp 一键启动推理服务
  • 可与 Hermes Agent 等工具直接集成
  • Capability Score 仅 48%,远低于同系列 4B(81.5%)和 9B(90%),能力上限有限
  • MLX 模型在 LM Studio 中 prompt caching 目前存在已知 bug
  • 部分 MLX 版 Qwen3.5 存在崩溃和无视设置强行注入 thinking 标签的社区反馈
来源

mlx-community/Qwen3.5-2B-OptiQ-4bit · Hugging FaceQwen3.5 on Apple Silicon: six mlx-optiq quantsMLX Downloading for Local UseIs there a "good" version of Qwen3.5-30B-A3B for MLX?

截至 2026-06-21

快速上手

mlx-lm generate --model mlx-community/Qwen3.5-2B-OptiQ-4bit

评分详情

Q1
今天能接上用吗   4 / 5
Q2
有可信证据吗   1 / 5
Q3
是新东西吗   3 / 5
总分
8

HuggingFace 原始数据 (抓取于 2026-06-07)

作者
mlx-community
任务类型
text-generation
推理库
mlx
下载
3,890
点赞
9
许可证
apache-2.0
标签
mlx, safetensors, qwen3_5, quantized, mixed-precision, 4bit, 8bit, optiq, apple-silicon, text-generation, qwen3.5, conversational, base_model:Qwen/Qwen3.5-2B, base_model:quantized:Qwen/Qwen3.5-2B, license:apache-2.0, 4-bit, region:us

探索

源链接