- 发布日期
4 GPU 集群 AI 推理跑赢 2 台 DGX Spark
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
YouTube频道Jun Yamog于10月12日发布视频，测试将4张英伟达Tesla V100安装于NVLink载板后的AI推理表现。在Qwen3.8-Flash-Next基准中，这套4 GPU集群的长提示处理速度较M5 Ultra快230%，较2台DGX Spark快40%。测试显示，推出已9年的旧款数据中心GPU在特定推理负载中仍具竞争力。
公开资料显示，Tesla V100是英伟达于2017年推出的数据中心GPU，基于Volta架构，常用于AI训练与推理。其32GB版本配备HBM2显存，显存带宽达900GB/s，可支持大模型参数与数据的快速读取。NVLink则是英伟达的GPU高速互联技术，用于在多颗GPU之间直接传输数据，相比PCIe通信可降低互联瓶颈。
此次测试所用NVLink载板提供300GB/s带宽，并配备6条NVLink 2.0连接。为容纳4颗独立GPU，测试者改装了NVIDIA A100散热器，使其可散发每颗V100约300W的功耗，并通过PCIe x8接口连接载板。该方案将旧款GPU组成集群，以观察其在现代推理任务中的吞吐表现。
测试使用4-bit量化的Qwen3.8-Flash-Next模型，对比对象包括2台配备128GB LPDDR5X统一内存的DGX Spark，以及配备M5 Ultra芯片的Mac Studio设备。测试覆盖长提示处理、短提示处理和短提示Token生成等不同负载。
在长提示处理测试中，4颗V100较DGX Spark集群快40%，较M5 Ultra快230%。测试者指出，与Apple Silicon之间的巨大差距可能部分源于软件优化不足。这一结果说明，硬件代际差异并非决定推理速度的唯一因素。
在短提示处理测试中，V100集群较DGX Spark保持40%的速度优势，较M5 Ultra快163%。该结果显示，旧款数据中心GPU在特定推理负载中仍具备较高吞吐能力。这一表现与长提示处理测试一致，均显示V100集群领先。
在短提示Token生成测试中，4颗V100达到100.6 tok/s，较2台DGX Spark快121%；M5 Ultra的成绩为44.5 tok/s。这一数据是本次对比中的另一关键指标。测试者通过4-bit量化和NVLink集群，将旧款硬件用于现代推理任务。
综合来看，Jun Yamog的测试为旧款数据中心GPU在AI推理场景中的再利用提供了参考。V100虽已发布多年，但在4 GPU NVLink集群中仍能在部分基准中领先新型设备。未来若软件优化进一步完善，不同平台之间的对比结果可能发生变化，旧硬件与新兴AI硬件的竞争仍值得观察。
