单 Token 成本降至 1/5，AI 吞吐量最高提升 20 倍

英伟达昨日（6月30日）发布博文宣布，在其Blackwell平台上通过全栈推理优化，将DeepSeek V4模型的单Token成本降至原来的五分之一，同时AI吞吐量最高提升20倍。这一突破标志着AI推理效率的重大进步，为企业用户带来更低的部署门槛。

单Token成本指模型生成或处理单个Token所需的费用指标，英伟达已将其列为AI总拥有成本的核心指标。相比一个月前DeepSeek V4上线初期，Blackwell平台将成本降至行业最低水平，凸显软硬件协同设计的优势。

在技术实现方面，英伟达通过三层优化：生产运营层负责分布式服务、编排、自动扩缩容和内存管理；应用加速层负责运行时优化，如计算与通信重叠、内核融合；基础设施访问层负责调用GPU、网络、内存与系统能力。具体技术包括分离式服务、大规模专家并行、基于NVIDIA NVLink的并行通信、NVFP4精度以及多Token预测。

性能方面，经过上述优化后，Blackwell平台单GPU的Token吞吐量最高可提升20倍。这意味着在相同硬件条件下，AI模型可以更快生成结果，或者以更低成本处理相同负载，大幅提升效率。

对于企业用户而言，成本降低和吞吐量提升将加速AI应用的部署和扩展，降低AI基础设施的总体拥有成本。英伟达的创新展示了针对大规模模型进行系统级优化的巨大潜力，可能推动行业重新审视推理效率标准。

展望未来，随着AI模型规模持续增长，推理效率将成为关键挑战。英伟达此次在Blackwell平台上的成果有望为行业树立新标杆，促使更多厂商投入类似优化，进一步降低AI应用门槛。

把任意网站变成干净 JSON

现成爬虫与 AI 智能体

试用 Apify