孤本网
/ 5 阅读
0
0

NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中取得领先性能

NVIDIA 博客发布消息称,NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 中首次亮相,并取得领先性能。

NVIDIA 在文章中指出,系统性能、高效的基础设施扩展以及持续的软件优化,是决定 AI 推理经济性的关键杠杆。更高的系统性能意味着生成更多 token,从而带来更高收入;高效扩展意味着随着硬件增加,吞吐量成比例增长,大规模服务用户所需资源更少;持续优化则意味着从基础设施投资中产生更多价值。

该文章围绕 AI 推理经济学展开,强调上述三个因素共同影响推理部署的成本与收益。MLPerf Inference v6.1 的此次结果,成为 NVIDIA Vera Rubin NVL72 在该基准测试中的首次登场。

来源:NVIDIA Blog


评论