三元1.58-bit量化8B模型，苹果芯片本地推理
- Apple Silicon
适合苹果设备本地AI助手 / 离线文本生成与隐私保护
短板非苹果设备或服务器端部署
Q4 ~0.4GB / FP16 ~1.5GB · Apache-2.0 · 65k · mlx可商用
证据16.4k 下载 / 101 赞 / 3 个社区来源
本期 (2)
Llama-3-8B 4-bit版，M系列芯片本地推理
- Apple Silicon
适合Mac本地聊天与文本生成 / 离线隐私敏感场景
短板非Apple Silicon设备（需MLX）
Q4 ~1.1GB / FP16 ~4.1GB · llama3 · 8k · mlx-lm需自查
证据10.5k 下载 / 81 赞 / 6 个社区来源