推荐最新的开源大语言模型Llama-3_1-Nemotron-Ultra-253B-v1

前几天nvidia推出了新模型Llama-3_1-Nemotron-Ultra-253B-v1, 今天我试了一下, 感觉很好. 看测试数据的话, 比deepseek r1还高, 当然数字只能作为参考.
主要它是只有253B的参数, 不用太多的显存. deepseek r1是671B的参数, 本地跑的话要太多的显存了. nvidia的模型和deepseek的模型都是带思考的, 不过 nvidia的模型可以关掉, deepseek的模型不行. deepseek r1是MoE架构的, 这个不是.
要是有条件的话, 可以试一试.

自己部署意义何在？

253b就算就算4bit量化也要170g显存。
如果用CPU和内存跑，那前提是你有多通道服务器主板，否则那速度谁受得了。

我昨天才听说整个，还没弄。 你实际测试了吗？

有llama4 为啥用3.1,而且4需要的显存更少

acm 发表于 2025-4-12 19:27
有llama4 为啥用3.1,而且4需要的显存更少
llama 4 是个很失败的模型.

吊打华伪 发表于 2025-4-12 19:10
我昨天才听说整个，还没弄。 你实际测试了吗？
我只是大概地试了一些问题, 感觉不错. 你如果不本地部署的话, 可以通过openrouter测试看看.