Qwen3.5-9B-OptiQ-4bit (mlx-community)

Apple Silicon 本地 4-bit 混合精度量化文本生成模型

入选理由: Apple Silicon上的Qwen3.5-9B 4bit混合精度量化，比统一4bit稍好，用mlx-lm可直接加载运行，适合Mac用户本地高效部署。
对位: 对位 Llama-3-8B / Gemma-2-9B
适合: 本地代码/推理/工具调用任务 / Apple Silicon 上的高精度轻量部署
不适合: 需 NVIDIA GPU 的部署场景
规模: 9B · 128k · Q4 ~5.9GB / FP16 ~21GB
授权: apache-2.0 · 需自查
框架: mlx
血统: 量化自 Qwen3.5-9B
可信度: 下载量近1.2万，六基准能力分66.77，超过均匀4-bit

仅 safetensors · 无 pickle 加载风险

快速上手

mlx_lm.generate --model mlx-community/Qwen3.5-9B-OptiQ-4bit