此页是 2026-09-07 的观测快照,查看该模型当前信息 → /m/thedrainflorist__qwen36-35b-a3b-vq-54bpw/

归档 / 2026-09-07 / Qwen3.6-35B-A3B-VQ-5.4bpw (TheDrainFlorist)

Qwen3.6-35B-A3B-VQ-5.4bpw (TheDrainFlorist)

MLX 向量量化，Apple Silicon 本地推理

MLX

入选理由: 基于Qwen3.6-35B的向量量化版，22.2GiB可在32GB Apple Silicon上运行，提供MLX直接推理命令，适合本地部署。
对位: 对位 Qwen3-30B-A3B
适合: Apple Silicon 本地文本生成 / 低内存占用（22.2 GiB）
不适合: 追求高精度或需要完整评测
规模: 35B-A3B · 未知 · Q4 ~23GB / FP16 ~84GB
授权: Apache-2.0 · 需自查
框架: mlx
血统: 量化自 Qwen3.6-35B-A3B
可信度: 下载量 897；card 提供 KL 28.1、top-1 92.22%，两拟合差 0.214

仅 safetensors · 无 pickle 加载风险

快速上手示例

python -m mlx_lm generate --model TheDrainFlorist/Qwen3.6-35B-A3B-VQ-5.4bpw --prompt "Hello" --max-tokens 32

依赖版本和硬件参数请以源仓库说明为准。

评分详情

Q1: 今天能接上用吗 5 / 5
Q2: 有可信证据吗 1 / 5
Q3: 是新东西吗 1 / 5
总分: 7

HuggingFace 原始数据 (抓取于 2026-09-07)

作者: TheDrainFlorist
任务类型: text-generation
推理库: mlx
下载: 897
点赞: 0
许可证: Apache-2.0
标签: mlx, safetensors, qwen3_5_moe, quantized, vector-quantization, apple-silicon, qwen3.6, text-generation, conversational, en, base_model:Qwen/Qwen3.6-35B-A3B, base_model:quantized:Qwen/Qwen3.6-35B-A3B, license:apache-2.0, 2-bit, region:us

探索