- 发布日期
百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型，总参数 280B
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
11月5日，百度文心大模型发布ERNIE-5.5-Flash-Base，开放ERNIE 5.5 Flash预训练终点权重。该模型定位为高效基座模型，开放权重未经中训练与后训练，可作为领域适配、指令微调和强化学习研究的起点。官方称Base只是起点，经过后训练的ERNIE 5.5 Flash将随后推出。
ERNIE-5.5-Flash-Base为稀疏MoE语言模型，总参数280B，每token激活14B。它在33.5T tokens上从零完成预训练，最长训练上下文为128K。其微调与推理支持1M tokens上下文。
预训练采用Muon优化器与FP8混合精度。语料覆盖广泛领域与语言，并重点建设网页、代码、长文三个方向。代码数据补充commit、issue、pull request、代码评审、自动生成测试及经CI验证的修复等数据。
训练系统与模型结构协同设计。分布式Muon在数千卡规模下，将Dense与MoE参数的跨机通信合并为一次集合通信，降低时延与抖动。注意力算子采用基于CuTe-DSL的FlashMask-4，支持SM90与SM100架构，head dim最高支持576（qk）/512（v），可用于HCA层512维宽头计算。
文心在30项Benchmark上评测该模型，涵盖综合、知识、理科、推理、多语言、代码与长上下文七类能力。对比对象包括DeepSeek-V4-Flash-Base、Hy3-preview-Base与MiMo-V2.5-Base。四个模型均基于各自公开发布的checkpoint，并使用同一套评测框架。
ERNIE-5.5-Flash-Base在各能力维度上均表现良好。长上下文方面，43层中有37层在128倍压缩后的序列上做注意力，6层MLA-DSA已足以支撑细粒度检索。完整表格见Hugging Face模型卡，百度已开放FP8与BF16权重，并提供Megatron-Bridge微调示例。
