此页是 2026-09-07 的观测快照,查看该模型当前信息 → /m/thedrainflorist__qwen36-35b-a3b-vq-46bpw/

归档 / 2026-09-07 / Qwen3.6-35B-A3B-VQ-4.6bpw (TheDrainFlorist)

Qwen3.6-35B-A3B-VQ-4.6bpw (TheDrainFlorist)

Mac 可跑的 Qwen3.6-35B VQ 量化

MLX

入选理由: Qwen3.6-35B-A3B的MLX向量量化版，18.7GB在32GB Mac上可跑，困惑度接近bf16，优于社区4-bit。有现成mlx-lm命令，适合Apple Silicon本地部署。
对位: 对位 Qwen3-30B-A3B
适合: Mac 32GB 本地推理 / 英文文本与代码生成
不适合: 对精确 token 敏感的任务
规模: 35B-A3B · 未知 · Q4 ~23GB / FP16 ~84GB
授权: apache-2.0 · 需自查
框架: mlx-lm / mlx_vlm
血统: 量化自 Qwen3.6-35B-A3B
可信度: 同 harness: 18.7 GiB, ppl 0.991x bf16

仅 safetensors · 无 pickle 加载风险

快速上手示例

python -m mlx_lm generate --model TheDrainFlorist/Qwen3.6-35B-A3B-VQ-4.6bpw --prompt "Hello"

依赖版本和硬件参数请以源仓库说明为准。

评分详情

Q1: 今天能接上用吗 5 / 5
Q2: 有可信证据吗 1 / 5
Q3: 是新东西吗 5 / 5
总分: 11

HuggingFace 原始数据 (抓取于 2026-09-07)

作者: TheDrainFlorist
任务类型: text-generation
推理库: mlx
下载: 930
点赞: 0
许可证: apache-2.0
标签: mlx, safetensors, qwen3_5_moe, quantized, vector-quantization, apple-silicon, qwen3.6, text-generation, conversational, en, base_model:Qwen/Qwen3.6-35B-A3B, base_model:quantized:Qwen/Qwen3.6-35B-A3B, license:apache-2.0, 2-bit, region:us

探索