2026-05-21

Nemotron-3-Nano-Omni-30B-A3B (NVIDIA)

NVIDIA 多模态推理模型 GGUF 量化版，本地推理用

入选理由: GGUF格式可直接在LM Studio/Ollama本地运行，下载量高但仅量化版本，无新能力
对位: 对位 3B 激活量的推理模型
适合: 本地多模态对话 / 图像理解与推理
不适合: 生产级高并发推理
规模: 30B (3B 激活) · 未知
授权: NVIDIA Open Model Agreement
框架: llama.cpp / ollama / lm-studio
血统: 量化自 Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16
可信度: HuggingFace 168900 下载，LM Studio 社区精选

社区实测

同尺寸下推理质量出色但语气偏机械,适合研究分析而非创意对话

30B 规模下通用问答质量可媲美更大模型如 Llama 3.3:70B
对研究和分析类任务表现可靠,机械风格反而成为优点
在同尺寸开源模型中推理能力被高频用户评为最佳

语气机械生硬,不适合创意写作或闲聊场景
代码生成偶现荒谬输出(如要求生成 HTML 却只显示黑屏并写上「屏幕是黑的」)
标称的多模态能力(音视频/图像)在社区实测中缺乏充分验证

来源

Nemotron-3-nano:30b is a spectacular general purpose local LLM : r/LocalLLaMA Nvidia Nemotron 3 Family of Models | Hacker News Nemotron-3-Nano-Omni-30B-A3B-Reasoning, New model? - Reddit

截至 2026-06-19

快速上手

llama-server -hf lmstudio-community/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF