荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

每瓦每秒 Token 吞吐提升 5 倍

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

AMD与Cerebras宣布合作,共同开发面向超低延迟AI推理的联合解决方案。在Advancing AI 2026活动中,双方披露了技术路线图,旨在通过整合AMD Helios机架级方案与Cerebras晶圆级引擎(WSE),提升AI推理效率。此举被视为对英伟达与Groq合作的直接回应。

当前AI推理市场正经历激烈竞争,英伟达凭借GPU生态占据主导地位,而Groq则以低延迟推理芯片异军突起。AMD与Cerebras的联手,试图通过异构计算架构在特定场景实现性能突破。两家公司此前在AI训练领域已有合作,此次聚焦推理环节,瞄准金融交易、实时翻译等对延迟极度敏感的用例。

根据官方新闻稿,Helios机架将承担高性能、可扩展吞吐引擎角色,主要处理提示词与大上下文窗口。Cerebras的Wafer-Scale Engine则负责对内存带宽要求更高的Token生成与解码环节,强调超低时延表现。结合使用两个计算引擎后,预估可将每瓦每秒token数量提升5倍。Cerebras介绍,WSE在单块互连硅片上无缝连接数十万个计算核心和数十GB的SRAM,显著减少外部网络瓶颈对数据传输的影响。

这一提升对AI推理的能效比具有里程碑意义。传统GPU架构在token生成阶段面临内存带宽瓶颈,而Cerebras的晶圆级设计通过片上高带宽SRAM消除了数据搬运延迟。AMD则利用其成熟的机架集成能力,在大规模部署中保障整体效率。双方预计,该方案可将AI推理的总拥有成本降低40%以上。

对行业而言,AMD与Cerebras的合作可能打破英伟达在AI推理芯片市场的垄断。Groq此前已展示低延迟推理能力,但产能有限。AMD凭借服务器渠道优势,可快速铺开联合方案。此外,该技术对边缘计算和物联网领域同样具有吸引力,因为低功耗高性能推理芯片是自动驾驶、智能工厂的关键需求。

展望未来,双方计划在2025年推出首个集成测试系统,并在2026年实现商业部署。Cerebras还在研发下一代WSE-3芯片,预计将采用更先进的制程工艺,进一步提升性能。AMD则表示,Helios架构将支持与Cerebras的深度协同,优化MLIR编译器以自动分配任务。这一动态可能引发更多AI芯片初创公司寻求与大型处理器厂商合作,加速行业整合。

值得注意的是,该方案的高集成度也带来散热和成本挑战。Cerebras的晶圆级芯片功耗可达15千瓦以上,需要液冷系统配合。不过,AMD在数据中心散热技术上的积累有望解决这一问题。随着AI模型规模持续增长,低延迟推理市场预计将快速增长,AMD与Cerebras的提前布局或为其赢得重要先机。

阅读原文 →来源:ithome