Qwen3.8-27B-VQ-4.8bpw (Qwen)

Apple Silicon 本地运行的 27B 向量量化文本生成模型

入选理由: Qwen3.8-27B 的 MLX 向量量化版，15.5GB 可在 Apple Silicon 上以 mlx-lm 直接运行，解码约 25 tok/s，适合本地部署。
对位: 对位 Gemma 2 27B 同规模开源模型
适合: Apple Silicon 本地推理 / 量化损失对比研究
不适合: 非 Apple Silicon 平台或高精度应用
规模: 27B · 未知 · Q4 ~8.5GB / FP16 ~31GB
授权: Apache-2.0 · 需自查
框架: mlx-lm
血统: 量化自 Qwen3.8-27B
可信度: 15.5GiB，KL距bf16 32.8，top-1 90.8%，可复现

仅 safetensors · 无 pickle 加载风险

快速上手示例

python -m mlx_lm generate --model TheDrainFlorist/Qwen3.8-27B-VQ-4.8bpw --prompt "Explain vector quantization briefly." --max-tokens 512

依赖版本和硬件参数请以源仓库说明为准。

评分详情

作者: TheDrainFlorist
任务类型: text-generation
推理库: mlx
下载: 1,214
点赞: 0
许可证: Apache-2.0
标签: mlx, safetensors, qwen3_5, quantized, vector-quantization, apple-silicon, qwen3.8, text-generation, conversational, en, base_model:Qwen/Qwen3.8-27B, base_model:quantized:Qwen/Qwen3.8-27B, license:apache-2.0, 4-bit, region:us