此页是 2026-07-02 的观测快照,查看该模型当前信息 → /m/nvidia__nemotron-labs-twotower-30b-a3b-base-bf16/

归档 / 2026-07-02 / Nemotron-Labs-TwoTower-30B-A3B (NVIDIA)

Nemotron-Labs-TwoTower-30B-A3B (NVIDIA)

双塔扩散LLM，块并行解码，2.42x生成吞吐量

入选理由
扩散语言模型，块状并行生成，速度2.42倍，保留质量98.7%；需2张A100/H100。适合追求高吞吐的文本生成。
对位
对位Qwen2.5-3B等3B激活模型
适合
大规模批量文本生成 / 作为基座模型微调
不适合
低延迟对话或指令跟随
规模
30B (3B 激活) · 128k
授权
NVIDIA Nemotron Open Model License · 需自查
框架
transformers
可信度
基于Nemotron-3-Nano骨干，2.1T tokens训练，基准保留98.7%质量，HuggingFace 7.6k下载

仅 safetensors · 无 pickle 加载风险

社区实测

社区实测样本极少,个别用户反馈在低配硬件上可流畅运行,但整体口碑尚未形成

  • 低配硬件可运行(6GB VRAM 旧游戏本)且保持实用推理速度
  • 针对 NVIDIA 硬件优化,支持 TensorRT 以最大化性能
  • 社区实测反馈极少,除个别用户外缺乏广泛真实使用验证
来源

What is everyones thoughts on Nemotron-Cascade 30b a3b - RedditNVIDIA Nemotron — does anyone actually use it? - Reddit

截至 2026-07-12

快速上手

python3 -c "from transformers import AutoModelForCausalLM; AutoModelForCausalLM.from_pretrained('nvidia/Nemotron-Labs-TwoTower-30B-A3B-Base-BF16',trust_remote_code=True,torch_dtype='bfloat16').cuda()" (单GPU AR模式,约59GB显存)

评分详情

Q1
今天能接上用吗   5 / 5
Q2
有可信证据吗   2 / 5
Q3
是新东西吗   5 / 5
总分
12

HuggingFace 原始数据 (抓取于 2026-07-02)

作者
nvidia
任务类型
text-generation
推理库
transformers
下载
7,628
点赞
79
许可证
NVIDIA Nemotron Open Model License
标签
transformers, safetensors, nvidia, pytorch, two-tower, diffusion, mamba, text-generation, en, es, fr, de, ja, it, pt, zh, ar, da, ko, nl, pl, ru, sv, th, dataset:nvidia/Nemotron-Pretraining-Code-v1, dataset:nvidia/Nemotron-CC-v2, dataset:nvidia/Nemotron-Pretraining-SFT-v1, dataset:nvidia/Nemotron-CC-Math-v1, dataset:nvidia/Nemotron-Pretraining-Code-v2, dataset:nvidia/Nemotron-Pretraining-Specialized-v1, dataset:nvidia/Nemotron-CC-v2.1, dataset:nvidia/Nemotron-CC-Code-v1, dataset:nvidia/Nemotron-Pretraining-Dataset-sample, arxiv:2606.26493, license:other, endpoints_compatible, region:us

探索

源链接