- 发布日期
侧立放置 DRAM 吞吐 540 tokens/s，较 HBM4 高 82.43%
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
韩国蔚山国立科学技术院（UNIST）与东京大学团队近日分别提出V-Die与MOSAIC两种新型高带宽内存（HBM）集成方案。该成果在6月召开的IEEE/JSAP超大规模集成电路技术研讨会上发布，旨在解决AI加速器内存的散热与带宽瓶颈。
高带宽内存是面向GPU、AI训练与推理加速器等高性能计算场景的关键技术，通过多层DRAM堆叠实现高带宽。然而，随着堆叠层数增加，散热问题日益突出。研究团队不约而同地选择将DRAM芯片由传统向上堆叠改为侧立放置，以改善散热路径。
V-Die方案由UNIST提出，其核心是竖直放置DRAM裸片，取消传统的硅通孔（TSV），改为每片裸片底边I/O连接，并在相邻裸片间加入液冷通道。在与HBM4等容量的对比测试中，V-Die在GPT-3规模工作负载下达到每秒540个token的吞吐量，较HBM4的296 tokens/s高出82.43%。V-Die的底边连接间距为20微米，连接数量可达HBM4的4倍，内存读取时间下降37%。
团队在16层堆叠仿真中模拟了与H100级硬件匹配的配置，结果显示V-Die将首Token时延降低32%，约24毫秒。散热方面，微流体冷却技术将堆叠温度维持在约45°C，远低于高密度HBM系统常见的80°C以上区间。
东京大学牵头团队提出的MOSAIC方案则侧重于提升侧立堆叠的可制造性。该方案采用正交裸片堆叠与无接触裸片互连，用微型感应线圈替代需要严格对准的金属信号接触。研究人员称，该原型接口速率最高达4 Gbps/通道，可在DRAM-on-GPU结构中实现HBM4级容量的2倍。
另一组相关的bump-MOSAIC硬件演示在ECTC会议上披露，采用100微米间距微凸点，X射线CT验证堆叠对准误差控制在6微米以内。研究团队表示，该配置热导率达到传统堆叠的3倍，并可额外增加最高30%的内存容量。
两项方案均展示了在提升带宽、降低时延和改善散热方面的潜力，为未来AI加速器内存架构设计提供了新思路。随着AI模型规模持续扩大，更高效的内存解决方案将成为推动算力提升的关键。
