此页是 2026-09-06 的观测快照,查看该模型当前信息 → /m/thedrainflorist__qwen38-27b-vq-39bpw/

归档 / 2026-09-06 / Qwen3.8-27B-VQ (TheDrainFlorist)

Qwen3.8-27B-VQ (TheDrainFlorist)

Apple Silicon 用 Qwen3.8-27B 量化版

  • MLX
  • 已量化
入选理由
Qwen3.8-27B 的向量量化版，12.5GiB 可在 Apple Silicon 上本地运行，mlx-lm 即装即用；但仅限苹果生态，且为量化重打包，无新能力。
对位
对位 Gemma-3-27B
适合
Apple Silicon 本地低内存推理 / 低体积下与 bf16 近似的文本生成
不适合
需任务评测分数的场景
规模
27B · 未知 · Q4 ~8GB / FP16 ~29GB
授权
Apache-2.0 · 需自查
框架
mlx-lm
血统
量化自 Qwen3.8-27B
可信度
模型卡自测 KL 85.8 mnats/tok，12.5 GiB

仅 safetensors · 无 pickle 加载风险

快速上手示例

python -m mlx_lm generate --model TheDrainFlorist/Qwen3.8-27B-VQ-3.9bpw --prompt "Explain vector quantization briefly." --max-tokens 512

依赖版本和硬件参数请以源仓库说明为准。

评分详情

Q1
今天能接上用吗   5 / 5
Q2
有可信证据吗   1 / 5
Q3
是新东西吗   1 / 5
总分
7

HuggingFace 原始数据 (抓取于 2026-09-06)

作者
TheDrainFlorist
任务类型
text-generation
推理库
mlx
下载
1,246
点赞
0
许可证
Apache-2.0
标签
mlx, safetensors, qwen3_5, quantized, vector-quantization, apple-silicon, qwen3.8, text-generation, conversational, en, base_model:Qwen/Qwen3.8-27B, base_model:quantized:Qwen/Qwen3.8-27B, license:apache-2.0, 4-bit, region:us

探索

源链接