Qwen3.5-397B-A17B-VQ-2.6bpw (TheDrainFlorist)

Apple Silicon 用 397B 量化文本生成模型

入选理由: Qwen3.5-397B 的 2.6bpw 向量量化版，MLX 格式可直接用 mlx-lm 或 Knurlogic 跑，支持 OpenAI 兼容接口，但需 ≥192GB 内存或双 Mac 集群。
对位: 对位 spicyneuron 2.6bit 397B 量化
适合: Apple Silicon 单机或集群部署 / 文本生成与代码补全
不适合: 128GB 单机及低内存环境
规模: 397B · 未知 · Q4 ~262GB / FP16 ~953GB
授权: Apache-2.0 · 需自查
框架: mlx-lm / knurlogic
血统: 量化自 Qwen3.5-397B-A17B
可信度: 下载 1555，模型卡附三语料 KL 实测及 vq-skipzero 说明

仅 safetensors · 无 pickle 加载风险

快速上手示例

python -m mlx_lm generate --model TheDrainFlorist/Qwen3.5-397B-A17B-VQ-2.6bpw --prompt "Explain vector quantization briefly." --max-tokens 1000

依赖版本和硬件参数请以源仓库说明为准。

评分详情

作者: TheDrainFlorist
任务类型: text-generation
推理库: mlx
下载: 1,555
点赞: 0
许可证: Apache-2.0
标签: mlx, safetensors, qwen3_5_moe, quantized, vector-quantization, apple-silicon, qwen3.5, text-generation, conversational, en, base_model:Qwen/Qwen3.5-397B-A17B, base_model:quantized:Qwen/Qwen3.5-397B-A17B, license:apache-2.0, 2-bit, region:us