英伟达韩松团队新作英伟达新模型比Qwen快47倍英伟达开源又放大招了!韩松团队推

量子位看科技 2025-08-26 17:45:37

英伟达韩松团队新作英伟达新模型比Qwen快47倍

英伟达开源又放大招了!

韩松团队推出了一款全新的基于后神经架构搜索的高效语言模型——Jet-Nemotron。

该模型在一系列基准测试中,不仅表现出与Qwen3、Qwen2.5、Gemma 3和Llama 3.2相当甚至更优的准确率,还在生成吞吐量上实现最高53.6倍加速,在预填充阶段达到6.1倍加速。

值得一提的是,在MMLU、MMLU-Pro和BBH基准上,Jet-Nemotron-2B相比Qwen3-1.7B-Base吞吐量提高了47倍,缓存大小缩小至1/47。

同时,它还实现了比DeepSeek-V3-Small和Moonlight(共150亿参数,22亿激活参数)更高的准确率。

代码和预训练模型都将开源,我们先来看看Jet-Nemotron是如何构建的。

0 阅读:0
量子位看科技

量子位看科技

感谢大家的关注