模型 / Qwen3.8-27B-VQ-4.8bpw (Qwen)

Qwen3.8-27B-VQ-4.8bpw (Qwen)

Apple Silicon 本地运行的 27B 向量量化文本生成模型

作者 TheDrainFlorist

仓库标识TheDrainFlorist/Qwen3.8-27B-VQ-4.8bpw

显存未知许可可商用任务文本生成最近核对 2026-09-06

链接指向的配置不在本页收录的形态里,已显示默认形态(原生)。

运行内存: 格式线索互相矛盾(含估算映射未支持的位宽),无法估算显存
运行时: PYTHON
下载: 1,214

仅 safetensors · 无 pickle 加载风险

Hugging Face 源仓库 ↗

快速上手示例

python -m mlx_lm generate --model TheDrainFlorist/Qwen3.8-27B-VQ-4.8bpw --prompt "Explain vector quantization briefly." --max-tokens 512

依赖版本和硬件参数请以源仓库说明为准。

适合与不适合

入选理由: Qwen3.8-27B 的 MLX 向量量化版，15.5GB 可在 Apple Silicon 上以 mlx-lm 直接运行，解码约 25 tok/s，适合本地部署。
对位: 对位 Gemma 2 27B 同规模开源模型
适合: Apple Silicon 本地推理 / 量化损失对比研究
不适合: 非 Apple Silicon 平台或高精度应用

完整规格

规模: 27B · 格式线索互相矛盾(含估算映射未支持的位宽),无法估算显存
授权: Apache-2.0 · 可商用
框架: mlx-lm
血统: 量化自 Qwen3.8-27B
访问提示: Hugging Face 可能需要代理

下载动量

30天下载 1.7k → 2.3k

观测时间线

2026-09-06 · 当日卡片 →

模型家族

Qwen3.8-27B
- 量化 Dirk-Qwen3.8-27B (peculiar-ragdoll)
- 量化 Huihui-Qwen3.8-27B-abliterated-GGUF (huihui-ai)
- 量化 Qwen3.8-27B (ISTA-DASLab)
- 量化 Qwen3.8-27B (LM Studio)
- 量化 Qwen3.8-27B (Qwen)
- 量化 Qwen3.8-27B Heretic Abliterated GGUF (0bserverx)
- 量化 Qwen3.8-27B MTPLX (Youssofal)
- LoRA Qwen3.8-27B-Atlassian-Q8-mlx (LeanZero)
- 微调 Qwen3.8-27B-DFlash2 (z-lab)
- 量化 Qwen3.8-27B-Escha-W2 (Escha)
- 量化 Qwen3.8-27B-MTPLX-Optimized-Speed (Youssofal)
- 量化 Qwen3.8-27B-OBLITERATED (OBLITERATUS)
- 量化 Qwen3.8-27B-Ridge-GGUF (empero-ai)
- 量化 Qwen3.8-27B-Uncensored-GGUF (orcarouter)
- 量化 Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF (HauhauCS)
- 量化 Qwen3.8-27B-VQ (TheDrainFlorist)
- 量化 Qwen3.8-27B-VQ-4.5bpw (Qwen)
- 量化 Qwen3.8-27B-VQ-4.8bpw (Qwen)
- 量化 Qwen3.8-Whittle-MoE-27B-A17.8B (logic65)
- 量化 Qwopus3.8-27B-Flash-GGUF (Jackrong)

查看全部家族 →