- 发布日期
华为官宣昇腾 0 Day 适配小红书最新开源大模型 dots3-note preview
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
8月14日，小红书正式发布dots3-note preview开源大模型。华为官方于次日宣布，昇腾Atlas 800 A3、Atlas 900 A3 SuperPoD超节点已完成该模型的全量适配，并基于vLLM Ascend开源推理引擎提供完整部署与推理能力，实现模型发布当天即完成0 Day推理部署适配与性能优化。
作为dots3系列的首个版本，dots3-note preview以280B总参数量、16B激活参数量构建能力底座，同时具备文本、视觉、语音全模态感知理解能力。官方表示，该模型在推理、Agent及多模态感知等能力上进行了全面优化，在多项任务上取得了比肩国内外更大尺寸优秀模型的效果。此次昇腾的快速适配，为模型在国产算力平台上的落地提供了关键支撑。
在适配过程中，昇腾针对模型特性进行了多项深度优化。首先是全模态端到端适配，基于vLLM Ascend推理框架，完成了文本、图片、音频全模态能力的端到端打通，覆盖视觉编码器、音频特征提取与LLM主干推理的全链路，完整保留模型原生多模态理解与交互能力，支持图文、音文、视频等多模态输入场景的稳定推理。
其次，通过FlashComm通信优化，针对AllReduce后RMSNorm、Dynamic Quant、MLA QKV降维等列向无关算子的冗余计算问题，采用数学等价变换将AllReduce拆解为ReduceScatter+AllGather，把列向独立算子前移至两阶段通信之间执行，消除了多卡间的重复计算，有效降低推理时延。同时，启用FUSED_MC2通算融合算子，将MoE层多段独立Kernel合并为单一大算子，减少Kernel Launch次数，实现通信与计算深度流水，显著提升MoE推理吞吐。
针对增量推理阶段TPOT（单Token生成耗时）这一核心瓶颈，昇腾在vLLM Ascend中原生适配了dots3-note preview的MTP投机解码能力，通过单次前向并行生成多Token候选并校验复用，大幅减少解码前向次数，有效降低TPOT并提升整体生成效率，更好满足高并发在线业务的低时延诉求。
华为方面表示，昇腾此次0 Day适配在完整保留模型文本、视觉、语音一体化全模态理解能力的前提下，实现了稳定运行与生成效率提升，为长程复杂任务场景智能落地提供算力支撑。这一合作也标志着国产AI算力生态与大模型开源社区的结合日益紧密。
随着小红书dots3系列后续版本的迭代，昇腾平台预计将持续跟进适配与优化。业内分析认为，这种快速响应能力将有助于降低国产大模型对海外算力的依赖，推动AI应用在更多行业场景中落地。未来，昇腾与开源模型社区的协同创新有望进一步加速，为国内人工智能产业的发展注入新动力。
