荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

微软完成 SOTA 基模 MAI-Base-2 预训练,性能强于所有参测开源权重模型

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

微软当地时间昨日宣布,其已完成新一代SOTA基础模型MAI-Base-2的预训练工作。微软称,该模型在性能方面强于所有参测开源权重模型。这一进展成为微软基础模型研发的最新焦点。

MAI-Base-2总参数规模达2.8T,活跃参数规模为80B。该模型在6000个NVIDIA GB200 GPU上历经38天训练而成。这样的配置显示出其预训练对算力和时间的高要求。

训练过程中,MAI-Base-2的平均浮点算力利用率为21%,有效吞吐量为89%。微软表示,其预训练算力效率是DeepSeek-V4-Pro-Base的4~12倍。这些指标成为衡量该模型预训练表现的重要数据。

微软表示,三项举措对MAI-Base-2的成功预训练尤为重要。它们分别是科学规模化、模型-基础设施协同设计以及数据规模化。微软认为,这些举措共同支撑了该模型的预训练完成。

从性能定位看,MAI-Base-2强于所有参测开源权重模型。这意味着在微软公布的参测范围内,没有开源权重模型在性能上超过MAI-Base-2。该表述也凸显了微软对MAI-Base-2基础模型能力的信心。

对于基础模型竞争而言,MAI-Base-2的预训练完成具有指标意义。其训练配置和效率对比,为外界观察大规模模型训练提供了参照。在完善MAI-Base-2的同时,微软已启动MAI-Base-3的准备工作。这表明其基础模型迭代仍在继续。

微软仅表示已启动MAI-Base-3的准备工作。MAI-Base-2的预训练完成,展示了微软在科学规模化、模型-基础设施协同设计和数据规模化方面的实践。相关后续动态值得关注。

阅读原文 →来源:ithome