Qwen3.5-0.8B-OptiQ-4bit (mlx-community)

社区实测

Qwen3.5-0.8B-OptiQ-4bit 是 mlx-optiq 为 Apple Silicon 产出的灵敏度感知混合精度 4-bit 量化版本，在六项能力评分上全面超越统一 4-bit 量化，体积仅约 0.5 GB；社区反馈 Qwen 3.5 在 MLX 上推理速度极快，适合轻量本地任务。

• 灵敏度感知混合精度量化：敏感层保留 8-bit，鲁棒层压缩至 4-bit，同等磁盘占用下全面超越统一 4-bit 量化
• 体积仅约 0.5 GB，适合 Apple Silicon 设备本地部署，资源占用极低
• 内置 MTP head，通过 optiq serve --mtp 可获得 1.4× 解码加速
• 在六项能力评分的每一项基准上均优于统一 4-bit 量化
• 可在 MacBook 和 iPhone 上完全离线运行，支持本地编程和视觉任务
• Qwen 3.5 在 MLX 上推理速度极快，社区反馈 Mac Studio M3 上 4-bit 模型速度令人惊叹

• 能力评分仅 27.0%，官方定位为玩具代理和提示词重写器，不适合复杂推理或生产级应用
• omlx v0.2.20 升级后曾出现 Internal server error，社区工具链稳定性有待观察
• 0.8B 参数规模天然受限，仅适合极轻量场景

截至 2026-06-21