SummFlow 2026-07-15 Hugging Face

Qwen3.5-35B-A3B (Qwen)

4-bit MLX 量化,Apple Silicon 本地运行文本生成

  • Apple Silicon
  • 已量化
入选理由
为Apple Silicon优化的混合精度量化版Qwen3.5-35B-A3B,5分钟即可本地运行,基准略优于均匀4bit。适合Mac用户快速部署。
对位
对位 Qwen2.5-3B
适合
Apple Silicon 本地大模型推理 / 敏感层 8-bit 保精度的代码/指令任务
不适合
显存<16GB 设备运行受限
规模
35B (3B 激活) · 128k · Q4 ~23GB / FP16 ~84GB
授权
apache-2.0 · 需自查
框架
mlx
可信度
公开6项基准对比,Capability Score 77.42,超统一4-bit 0.5分

快速上手

mlx_lm.generate --model mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit --prompt 'Explain quantum computing.' --max-tokens 200