合并请求 - openPangu-Ultra-MoE-718B:Pangu Ultra MoE是一个全流程在昇腾NPU上训练的准万亿MoE模型。作为拥有超大规模和极高稀疏性的 MoE 模型，它的稳定训练极具挑战。针对这一难题，盘古团队在模型架构和训练方法上进行了创新性设计，成功地在昇腾 NPU 上实现了准万亿 MoE 模型的全流程训练。本文将对Pangu Ultra MoE的模型架构与训练策略进行简要介绍。