- 发布日期
MTT S5000 国产 GPU 支撑 2.8 万亿参数大模型
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
国产GPU厂商摩尔线程宣布，其AI训推一体智算卡MTT S5000已成功适配月之暗面最新开源的Kimi K3大模型，该模型是全球首个开源的3万亿参数级别模型，总参数量达到2.8万亿。7月28日，月之暗面正式开源Kimi K3并发布模型权重与技术报告，同日摩尔线程基于自研MTT S5000及MUSA软件栈实现了Day-0支持。
Kimi K3采用了创新的KDA混合线性注意力机制和注意力残差技术，构建了69层KDA与24层Gated MLA组成的混合注意力主干，并通过Stable Latent MoE架构实现896个专家、每个token激活16个专家的高效模型容量。模型原生支持视觉理解，拥有100万token上下文窗口，与传统Transformer架构有显著差异。
面对新架构对AI芯片软件栈的系统性挑战，摩尔线程在模型开源后迅速展开适配工作，完成了模型结构解析、权重加载、核心算子、缓存管理及分布式运行链路的全面支持。针对KDA核心创新，团队分别完成了Prefill与Decode阶段的关键路径适配，并以Triton MUSA正确性实现作为稳定基线。
在SGLang-MUSA框架中，摩尔线程同步适配了Hybrid State Pool，用于管理KDA递归状态与卷积状态，覆盖Prefix Cache、分块Prefill及PD分离场景所需的状态生命周期。针对Stable Latent MoE的896专家、TopK 16激活规模，团队快速完成了DeepEP适配，打通了token dispatch、combine与跨卡All-to-All通信链路。
MUSA软件栈完成了模型路由、专家映射和分布式执行链路适配，通过MCCL、DeepEP与MTSHMEM协同承载张量并行、专家并行和低时延通信。面对Kimi K3官方发布的MXFP4 checkpoint，摩尔线程设计了加载期在线逐层量化方案，无需离线转换即可快速拉起推理。
MTT S5000基于摩尔线程第四代“平湖”芯片架构，单卡AI稠密算力最高1000TFLOPS，配备80GB显存和1.6TB/s显存带宽，卡间互联带宽达784GB/s，完整支持FP8到FP64全精度计算。此次适配标志着国产GPU在支撑超大规模参数模型方面取得重要进展，为AI基础设施自主化提供了新的可能性。
