此页是 2026-07-14 的观测快照,查看该模型当前信息 → /m/aquaman164__qwen36-35b-a3b-mlx-vq-26bpw/

归档 / 2026-07-14 / Qwen3.6-35B-A3B-VQ (aquaman164)

Qwen3.6-35B-A3B-VQ (aquaman164)

MLX VQ量化35B MoE，适合Apple Silicon本地推理

Apple Silicon
已量化

入选理由: Qwen3.6-35B-A3B的向量量化版，同尺寸下PPL优于标量量化；需在Apple Silicon上运行自定义Metal内核，提供OpenAI兼容API，适合Mac用户自部署.
对位: 对位3B级密集模型
适合: 本地日常对话与文本生成 / 资源受限的Apple设备推理
不适合: 云端大规模部署或高精度任务
规模: 35B (3B激活) · 128k · Q4 ~23GB / FP16 ~84GB
授权: Apache-2.0 · 需自查
框架: mlx
血统: 量化自 Qwen3.6-35B-A3B
可信度: 首个Apple Silicon上trained-codebook VQ模型，11.53GB，实测66 tok/s

仅 safetensors · 无 pickle 加载风险

快速上手

huggingface-cli download aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw --local-dir qwen-vq && python qwen-vq/code/vq_serve.py --model qwen-vq

评分详情

Q1: 今天能接上用吗 3 / 5
Q2: 有可信证据吗 1 / 5
Q3: 是新东西吗 3 / 5
总分: 7

HuggingFace 原始数据 (抓取于 2026-07-14)

作者: aquaman164
任务类型: text-generation
推理库: mlx
下载: 524
点赞: 2
许可证: Apache-2.0
标签: mlx, safetensors, qwen3_5_moe, quantized, vq, aqlm, codebook, mixed-bit, moe, custom-code, text-generation, conversational, base_model:Qwen/Qwen3.6-35B-A3B, base_model:quantized:Qwen/Qwen3.6-35B-A3B, license:apache-2.0, 4-bit, region:us

探索