Qwen3.6-35B-A3B-VQ-3.4bpw (TheDrainFlorist)

Apple 芯片 13.8GiB VQ 量化，24GB 可跑

作者 TheDrainFlorist

仓库标识TheDrainFlorist/Qwen3.6-35B-A3B-VQ-3.4bpw

显存未知许可可商用任务文本生成最近核对 2026-09-10

链接指向的配置不在本页收录的形态里,已显示默认形态(原生)。

运行内存: 格式线索互相矛盾(含估算映射未支持的位宽),无法估算显存
运行时: PYTHON
下载: 1,407

仅 safetensors · 无 pickle 加载风险

Hugging Face 源仓库 ↗

快速上手示例

python -m mlx_lm generate --model TheDrainFlorist/Qwen3.6-35B-A3B-VQ-3.4bpw --prompt 'Explain the difference between a mutex and a semaphore.' --max-tokens 512

依赖版本和硬件参数请以源仓库说明为准。

适合与不适合

入选理由: 13.8GB 的 Qwen3.6 量化版，Apple Silicon 上可直接跑，速度约 66 tok/s，比同尺寸 4-bit 量化质量更好，适合 24GB 内存 Mac 本地部署。
对位: 对位 Qwen3-30B-A3B / Llama-3.2-3B
适合: Apple Silicon 本机运行与推理 / 较 4-bit 更小体积的量化部署
不适合: 追求最低 perplexity 或最高质量

完整规格

规模: 35B-A3B · 格式线索互相矛盾(含估算映射未支持的位宽),无法估算显存
授权: apache-2.0 · 可商用
框架: mlx-lm / mlx_vlm
血统: 量化自 Qwen3.6-35B-A3B
访问提示: Hugging Face 可能需要代理

下载动量

30天下载 1.4k → 1.8k

观测时间线

2026-09-10 · 当日卡片 →

模型家族

Qwen3.6-35B-A3B
- 微调 Macaron-V1-Tall (MindLab)
- 量化 Qwen3.6-35B-A3B (AutomatosX)
- 量化 Qwen3.6-35B-A3B (Qwen)
- 量化 Qwen3.6-35B-A3B (andreaborio)
- 量化 Qwen3.6-35B-A3B-Escha-W2 (EschaLabs)
- 量化 Qwen3.6-35B-A3B-GGUF (Unsloth)
- 量化 Qwen3.6-35B-A3B-NVFP4 (NVIDIA)
- 量化 Qwen3.6-35B-A3B-OptiQ-4bit (mlx-community)
- 量化 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive
  - 量化 Qwen3.6-35B-A3B (LuffyTheFox)
  - 量化 Qwen3.6-35B-A3B (Qwen)
  - 量化 Qwen3.6-35B-A3B-Genesis-Hermes-V5-GGUF (LuffyTheFox)
- 量化 Qwen3.6-35B-A3B-VQ (aquaman164)
- 量化 Qwen3.6-35B-A3B-VQ-3.4bpw (TheDrainFlorist)
- 量化 Qwen3.6-35B-A3B-VQ-3.8bpw (TheDrainFlorist)
- 量化 Qwen3.6-35B-A3B-VQ-4.6bpw (TheDrainFlorist)
- 量化 Qwen3.6-35B-A3B-VQ-5.4bpw (TheDrainFlorist)
- 微调 XYZ-Aquila-mini (XYZAILab)

查看全部家族 →