此页是 2026-09-06 的观测快照,查看该模型当前信息 → /m/thedrainflorist__qwen38-27b-vq-45bpw/

归档 / 2026-09-06 / Qwen3.8-27B-VQ-4.5bpw (Qwen)

Qwen3.8-27B-VQ-4.5bpw (Qwen)

Qwen3.8-27B MLX 向量量化版

  • MLX
  • 已量化
入选理由
Qwen3.8-27B 的向量量化版，14.5GB 可在 Apple Silicon 上流畅运行，质量优于同尺寸 4-bit 量化，适合本地部署。
对位
对位 Gemma 3 27B
适合
Apple Silicon 本地 27B 推理 / MLX 免补丁加载
不适合
非 Apple Silicon 场景
规模
27B · 未知 · Q4 ~13GB / FP16 ~46GB
授权
apache-2.0 · 需自查
框架
mlx
血统
量化自 Qwen3.8-27B
可信度
自测 KL 40.3 mnats/tok，top-1 90.1%

仅 safetensors · 无 pickle 加载风险

快速上手示例

python -m mlx_lm generate --model TheDrainFlorist/Qwen3.8-27B-VQ-4.5bpw --prompt "Explain vector quantization briefly." --max-tokens 512

依赖版本和硬件参数请以源仓库说明为准。

评分详情

Q1
今天能接上用吗   5 / 5
Q2
有可信证据吗   1 / 5
Q3
是新东西吗   1 / 5
总分
7

HuggingFace 原始数据 (抓取于 2026-09-06)

作者
TheDrainFlorist
任务类型
text-generation
推理库
mlx
下载
1,432
点赞
1
许可证
apache-2.0
标签
mlx, safetensors, qwen3_5, quantized, vector-quantization, apple-silicon, qwen3.8, text-generation, conversational, en, base_model:Qwen/Qwen3.8-27B, base_model:quantized:Qwen/Qwen3.8-27B, license:apache-2.0, 4-bit, region:us

探索

源链接