- 发布日期
HBM 仅增约 3%，每美元智能体吞吐量最高提升 30 倍
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
11月5日，英伟达发布技术解读，指出随着大模型参数规模、上下文长度和智能体应用快速增长，GPU显存正面临前所未有的压力，HBM供应趋紧、价格上升，且在可预见的未来仍将持续。为此，英伟达提出“全栈协同设计”理念，将GPU、CPU、网络、存储和软件作为整体协同设计，让每一字节内存在AI工厂各层级产生更高价值。
在推理过程中，昂贵的HBM既要承载模型权重，也要保存KV缓存。智能体工作流会在多次模型调用和工具调用间持续携带历史上下文，部分场景需处理多达300万个token；检索增强生成（RAG）还会把企业资料加入提示词，进一步推高内存占用。
英伟达将HBM比作仓库、将内存带宽比作装卸口：容量再大，若数据进出速度跟不上，也会形成“内存墙”，导致新增容量无法有效转化为服务能力。因此，其方案强调把数据压缩、放置在合适层级，并在需要前提前送回GPU。
具体操作中，NVFP4低精度格式可压缩模型权重和KV缓存；在NVL72系统中，模型权重可分散至最多72颗GPU；Vera CPU的大容量LPDDR内存可为暂停的上下文提供就近缓冲；Dynamo推理软件则将不活跃上下文迁移至CMX上下文存储，并在复用前取回。
RAG索引也可保留在CPU与存储侧，避免长期占用HBM。英伟达援引SemiAnalysis AgentX基准称，在每用户每秒125 token的条件下，Vera Rubin NVL72相较GB300 NVL72的每美元智能体吞吐量最高提升30倍，而每GPU的HBM容量仅增加约3%。
此外，GB300 NVL72较H200平台在每用户每秒100 token条件下，每美元吞吐量最高提升10倍。这一对比表明，AI算力竞争的关键正从“显存多少”转向“每字节、每瓦特能产出多少有效token”。
业内认为，随着智能体应用普及，内存墙问题将更加突出。英伟达的全栈协同设计能否在更大规模部署中持续兑现吞吐量提升，仍有待市场检验，但其方向已为AI基础设施优化提供参考。
