Qwen3.5-397B-A17B-VQ-2.6bpw (TheDrainFlorist)

Apple Silicon 用 397B 量化文本生成模型

仓库标识TheDrainFlorist/Qwen3.5-397B-A17B-VQ-2.6bpw

显存未知许可可商用任务文本生成最近核对 2026-10-05

链接指向的配置不在本页收录的形态里,已显示默认形态(原生)。

仅 safetensors · 无 pickle 加载风险

快速上手示例

python -m mlx_lm generate --model TheDrainFlorist/Qwen3.5-397B-A17B-VQ-2.6bpw --prompt "Explain vector quantization briefly." --max-tokens 1000

依赖版本和硬件参数请以源仓库说明为准。

适合与不适合

入选理由: Qwen3.5-397B 的 2.6bpw 向量量化版，MLX 格式可直接用 mlx-lm 或 Knurlogic 跑，支持 OpenAI 兼容接口，但需 ≥192GB 内存或双 Mac 集群。
对位: 对位 spicyneuron 2.6bit 397B 量化
适合: Apple Silicon 单机或集群部署 / 文本生成与代码补全
不适合: 128GB 单机及低内存环境

30天下载 1.3k → 1.3k