此页是 2026-07-13 的观测快照,查看该模型当前信息 → /m/mlx-community__qwen35-9b-optiq-4bit/

归档 / 2026-07-13 / Qwen3.5-9B-OptiQ-4bit (mlx-community)

Qwen3.5-9B-OptiQ-4bit (mlx-community)

Apple Silicon 本地 4-bit 混合精度量化文本生成模型

Apple Silicon
已量化

入选理由: Apple Silicon上的Qwen3.5-9B 4bit混合精度量化，比统一4bit稍好，用mlx-lm可直接加载运行，适合Mac用户本地高效部署。
对位: 对位 Llama-3-8B / Gemma-2-9B
适合: 本地代码/推理/工具调用任务 / Apple Silicon 上的高精度轻量部署
不适合: 需 NVIDIA GPU 的部署场景
规模: 9B · 128k · Q4 ~5.9GB / FP16 ~21GB
授权: apache-2.0 · 需自查
框架: mlx
血统: 量化自 Qwen3.5-9B
可信度: 下载量近1.2万，六基准能力分66.77，超过均匀4-bit

仅 safetensors · 无 pickle 加载风险

快速上手

mlx_lm.generate --model mlx-community/Qwen3.5-9B-OptiQ-4bit

评分详情

Q1: 今天能接上用吗 3 / 5
Q2: 有可信证据吗 3 / 5
Q3: 是新东西吗 3 / 5
总分: 9

HuggingFace 原始数据 (抓取于 2026-07-13)

作者: mlx-community
任务类型: text-generation
推理库: mlx
下载: 11,971
点赞: 78
许可证: apache-2.0
标签: mlx, safetensors, qwen3_5, quantized, mixed-precision, 4bit, 8bit, optiq, apple-silicon, text-generation, qwen3.5, conversational, base_model:Qwen/Qwen3.5-9B, base_model:quantized:Qwen/Qwen3.5-9B, license:apache-2.0, 4-bit, region:us

探索