Meta-Llama-3-8B-Instruct-4bit (mlx-community)

社区实测

社区普遍认为 MLX 4bit 版 Llama 3 8B 是 Apple Silicon Mac 上最便捷的本地部署方案之一，几行代码即可加载运行；在 MMLU Pro 上质量与 GGUF q4_K_M 基本持平，8GB 内存的 M2 mini 即可跑到约 18.5 tok/s；首次加载内存占用比 GGUF q4_K_M 减少约 30%，适合轻量日常使用和快速原型验证。

• 在 8GB 统一内存的 M2 mini 上即可流畅运行，部署门槛极低
• 通过 mlx_lm 库两行代码即可加载和生成，上手简单
• MLX 4bit 量化在 MMLU Pro 上的质量与 GGUF q4_K_M 基本持平
• 首次加载时内存占用比 GGUF q4_K_M 减少约 30%
• 已被 Xinference 收录为内置模型，支持一键部署
• 基于 Meta 官方 Llama 3 Instruct 直接转换，对话优化表现稳定

• 在相同硬件上吞吐量低于 gemma-2-9b，尽管参数量更少
• MMLU Pro 评测结果存在一定的随机波动，单次跑分需谨慎解读

截至 2026-06-21