- 发布日期
英伟达 Vera Rubin NVL72 每兆瓦 Tokens 吞吐量提升 10 倍
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
英伟达（NVIDIA）于7月21日发布博文，宣布其下一代AI加速器Vera Rubin NVL72正加速迈向万亿级规模部署。目前该产品已在CoreWeave、Google Cloud、Microsoft Azure和Oracle Cloud Infrastructure等合作伙伴内部运行。英伟达表示，为了满足全球客户的计算需求，Vera Rubin在30个国家拥有350多个工厂，建立了有史以来规模最大、最成熟的机架级供应链。
作为英伟达的长期合作伙伴，CoreWeave于7月21日发布博文，透露该公司在6月初完成了业界首个NVIDIA Vera Rubin NVL72的上电和验证工作。这一端到端机架级系统包括电源、冷却、网络和计算在内的所有组件均已验证并运行。CoreWeave的验证标志着Vera Rubin NVL72从实验室走向实际部署的关键一步。
在这次部署中，英伟达和CoreWeave选择以当前热门的推理模型DeepSeek R1作为测试基准。DeepSeek R1是驱动当前智能体AI（Agentic AI）激增的推理模型之一，能够代表未来AI工作负载的典型特征。测试旨在评估每兆瓦吞吐量（token throughput per megawatt）与交互性（TPS/user，即每秒处理用户请求数）之间的关系。
测试结果表明，在匹配的交互性目标下，运行相同的DeepSeek R1工作负载时，Vera Rubin NVL72相比NVIDIA GB200 NVL72，每兆瓦Tokens吞吐量提升了10倍。这一显著提升意味着在相同功耗下，Vera Rubin能够处理更多的推理任务，从而大幅降低AI应用的运营成本。
对于数据中心运营商而言，每兆瓦吞吐量的提升直接转化为更高的计算效率和更低的电力开销。随着AI推理需求的爆炸式增长，尤其是智能体AI和实时交互场景的普及，能耗已成为制约部署的关键因素。Vera Rubin NVL72的这一性能突破，有望推动AI基础设施向更高能效的方向演进。
此外，Vera Rubin NVL72的规模化部署能力也为行业提供了参考。英伟达在30个国家建立的工厂网络，加上与CoreWeave等云服务商的紧密合作，意味着从芯片到机架再到云端，整个供应链已做好准备。这将加速AI应用从训练到推理的全面落地，尤其对需要低延迟、高吞吐的实时AI服务至关重要。
展望未来，随着Vera Rubin NVL72的逐步量产和交付，AI推理领域的算力格局可能发生重大变化。英伟达计划继续优化其机架级系统，并与更多合作伙伴共同推动万亿级参数模型的实时推理。这一进展也为下一代AI模型的部署奠定了基础，尤其是在自动驾驶、医疗诊断和金融风控等对实时性要求极高的场景中。
