模型 / Qwen3.5-0.8B-OptiQ-4bit (mlx-community)

Qwen3.5-0.8B-OptiQ-4bit (mlx-community)

苹果芯片4-bit MLX 量化 Qwen3.5-0.8B

作者
mlx-community
对位
对位均匀 4-bit MLX 量化
适合
Apple Silicon 本地推理 / 工具调用与代码生成
不适合
非 Apple Silicon 平台
入选理由
为Apple Silicon优化的混合精度量化版Qwen3.5-0.8B，mlx-lm一行代码即可运行，推理性能提升但需macOS环境。
规模
0.8B · 最低 ~0.9GB · 8-bit(估算)
授权
Apache 2.0 · 可商用
框架
mlx-lm / mlx-optiq
血统
量化自 Qwen3.5-0.8B
国内访问
需代理
可信度
下载 4.8k，mlx-community 出品，能力评分 +4.27 超均匀 4-bit

社区实测

Qwen3.5-0.8B-OptiQ-4bit 是 mlx-optiq 为 Apple Silicon 产出的灵敏度感知混合精度 4-bit 量化版本，在六项能力评分上全面超越统一 4-bit 量化，体积仅约 0.5 GB；社区反馈 Qwen 3.5 在 MLX 上推理速度极快，适合轻量本地任务。

  • 灵敏度感知混合精度量化：敏感层保留 8-bit，鲁棒层压缩至 4-bit，同等磁盘占用下全面超越统一 4-bit 量化
  • 体积仅约 0.5 GB，适合 Apple Silicon 设备本地部署，资源占用极低
  • 内置 MTP head，通过 optiq serve --mtp 可获得 1.4× 解码加速
  • 在六项能力评分的每一项基准上均优于统一 4-bit 量化
  • 可在 MacBook 和 iPhone 上完全离线运行，支持本地编程和视觉任务
  • Qwen 3.5 在 MLX 上推理速度极快，社区反馈 Mac Studio M3 上 4-bit 模型速度令人惊叹
  • 能力评分仅 27.0%，官方定位为玩具代理和提示词重写器，不适合复杂推理或生产级应用
  • omlx v0.2.20 升级后曾出现 Internal server error，社区工具链稳定性有待观察
  • 0.8B 参数规模天然受限，仅适合极轻量场景
来源

mlx-community/Qwen3.5-0.8B-OptiQ-4bit · Hugging FaceQwen 3.5 for MLX is like its own industrial revolution : r/Qwen_AI"Internal server error" after upgrading to `v0.2.20` · Issue #361 · jundot/omlx · GitHubQwen3.5 family · getting started · mlx-optiqQwen 3.5 Small Models Are INCREDIBLE! (Testing 0.8B & 2B On Edge Devices)

截至 2026-06-21

本形态 ~0.9GB 8-bit · 国内 需代理 · 4,860 下载

仅 safetensors · 无 pickle 加载风险

快速上手

pip install mlx-lm; mlx_lm.generate --model mlx-community/Qwen3.5-0.8B-OptiQ-4bit --prompt '...'

本形态源 ↗

下载动量

30天下载 2.2k → 1.7k · likes +1

观测时间线