归档 / 2026-05-22 / Meta-Llama-3-8B-Instruct-4bit (mlx-community)

Meta-Llama-3-8B-Instruct-4bit (mlx-community)

Llama-3-8B 4-bit版，M系列芯片本地推理

Apple Silicon

部署

pip pip install mlx-lm && mlx_lm.generate --model mlx-community/Meta-Llama-3-8B-Instruct-4bit --prompt "hello"
py from mlx_lm import load, generate; model, tokenizer = load('mlx-community/Meta-Llama-3-8B-Instruct-4bit'); generate(model, tokenizer, prompt='hello')

入选理由: Llama 3 8B的4bit量化版，可用mlx-lm快速运行，但无新能力，适合苹果用户部署。
对位: 对位原始Llama-3-8B-Instruct，适配Mac本地推理
适合: Mac本地聊天与文本生成 / 离线隐私敏感场景
不适合: 非Apple Silicon设备（需MLX）
规模: 8B · 8k · Q4 ~1.1GB / FP16 ~4.1GB
授权: llama3 · 需自查
框架: mlx-lm
可信度: HuggingFace 10.5k下载，81点赞，mlx-community官方转换

评分详情

Q1: 今天能接上用吗 3 / 5
Q2: 有可信证据吗 3 / 5
Q3: 是新东西吗 1 / 5
总分: 7

HuggingFace 原始数据 (抓取于 2026-05-22)

作者: mlx-community
任务类型: text-generation
推理库: mlx
下载: 10,500
点赞: 81
许可证: llama3
标签: mlx, safetensors, llama, facebook, meta, pytorch, llama-3, text-generation, conversational, en, license:other, region:us

探索