Nemotron-3-Nano-30B-A3B (NVIDIA)

4bit MoE本地运行于Apple Silicon

入选理由: Nemotron 3 Nano的MLX 4-bit量化版，OptiQ混合精度比标准量化质量更高，可在Apple Silicon本地运行文本生成，适合Mac开发者本地部署高性能模型。
对位: 对位 Qwen2.5-3B / Llama-3.2-3B
适合: Apple Silicon本地高效推理 / 代码与数学问题求解
不适合: 需要高精度BF16的场景
规模: 30B (3B 激活) · 未知 · Q4 ~20GB / FP16 ~72GB
授权: nvidia-open-model-license · 需自查
框架: mlx
可信度: MLX社区855下载，6基准全胜统一4bit量化

快速上手

mlx_lm.generate --model mlx-community/NVIDIA-Nemotron-3-Nano-30B-A3B-OptiQ-4bit