Nemotron-3.5-Lightning-30B-A3B (NVIDIA)

30B 总参 / 3B 激活 MoE，本地 GGUF 部署

作者 nvidia

仓库标识nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16

~19GB 4-bit许可需自查任务文本生成最近核对 2026-08-14

仅 safetensors · 无 pickle 加载风险

仅 safetensors · 无 pickle 加载风险

快速上手示例

vllm serve nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16

依赖版本和硬件参数请以源仓库说明为准。

适合与不适合

入选理由: NVIDIA Nemotron 3.5 Lightning 30B A3B 的 GGUF 量化版，可直接在 LM Studio/llama.cpp 本地运行，适合需要高效本地推理的用户。
对位: 对位 Qwen3-30B-A3B
适合: LM Studio 本地对话 / 低激活成本批量生成
不适合: 复杂多步推理或长上下文任务

30天下载 378.6k → 449.1k