开源盘古 Ultra-MoE-718B-V1.1

1. 简介

openPangu-Ultra-MoE-718B-V1.1 是基于昇腾 NPU 训练的大规模混合专家语言模型，总参数量为718B，激活参数量为39B，同一个模型具备快思考和慢思考两种能力。相较[openPangu-Ultra-MoE-718B-V1.0]版本，V1.1版本主要提升了Agent工具调用能力，降低了幻觉率，其他综合能力也进一步增强。

2. 模型架构

openPangu-Ultra-MoE-718B-V1.1 的模型架构采用了业界主流的 Multi-head Latent Attention (MLA)、Multi-Token Prediction (MTP)、大稀疏比等架构，以及一些特有的设计：

Depth-Scaled Sandwich-Norm 和 TinyInit：通过调整层归一化结构与参数初始化，提升训练稳定性。
基于 EP-Group 的负载均衡策略：通过优化负载均衡损失函数，改善专家特化效果。

3. 测评结果

测评集	测评指标	V1.0 快思考	V1.0 慢思考	V1.1 快思考	V1.1 慢思考
通用能力
MMLU-Pro	Exact Match	80.18	82.40	83.17	84.84
GPQA-Diamond	Avg@4	69.19	76.77	76.60	77.95
SuperGPQA	Acc	52.28	61.67	58.59	63.65
IF-Eval	Prompt Strict	81.70	80.59	86.88	81.33
SysBench	Constraint Satisfaction Rate	85.99	91.43	87.33	91.87
Hallucination-Leaderboard (HHEM)	Hallucination Rate	10.11	18.39	3.85	3.01
数学能力
CNMO 2024	Avg@32	65.62	80.73	76.56	82.99
AIME25	Avg@16	40.62	75.21	49.79	77.50
AIME24	Avg@16	56.25	80.21	66.04	82.08
代码能力
LiveCodeBench	Avg@3 (01/25~05/25)	45.14	61.14	36.57	65.71
Agent工具调用
BFCL-V3	Acc (Prompt)	72.32	56.97	69.81	72.36
Tau-Bench (airline)	Avg@3 (FC)	41.33	40.00	44.67	54.67
Tau-Bench (retail)	Avg@3 (FC)	68.98	52.75	66.66	74.20
Tau2-Bench (airline)	Avg@3 (FC)	47.33	52.00	61.33	66.00
Tau2-Bench (retail)	Avg@3 (FC)	74.85	67.25	72.22	79.24
Tau2-Bench (telecom)	Avg@3 (FC)	65.21	59.94	51.17	62.28
AceBench	Acc (Prompt)	79.36	80.93	78.63	81.32

注：评测过程中，system prompt 为空, V1.1较V1.0的提升项加粗。

4. 部署和使用

4.1 环境准备

硬件规格

Atlas 800T A2 (64GB, >=32卡)，驱动与固件安装包获取请参照[Atlas 800T A2]

软件环境

方式一：基于裸机环境安装以下配套软件
- 操作系统：Linux（推荐openEuler>=24.03）
- CANN==8.1.RC1，安装准备及流程请参照[CANN Install]
- python==3.10
- torch==2.1.0
- torch-npu==2.1.0.post12
- transformers>=4.48.2
方式二：从 docker 镜像启动容器

参考[Docker使用指南]

以上软件配套经过验证，理论可以支持更高的版本，如有疑问，可以提交 issue。

4.2 推理权重转换

本次样例 openPangu-Ultra-MoE-718B-V1.1 推理采用 Tensor Parallel 并行策略，叠加昇腾 NPU 融合大算子，需要提前对 safetensors 权重进行切分，下述内容提供32卡并行推理的权重切分示例，切分后的权重会保存在model/目录下：

cd inference
bash split_weight.sh

4.3 推理样例

openPangu-Ultra-MoE-718B-V1.1 在 Atlas 800T A2 上4机32卡 bfloat16 推理示例，主节点选取节点 IP0：

cd inference
# 主节点IP0:  ${NNODES} ${NODE_RANK} ${NPROC_PER_NODE} ${MASTER_ADDR} ${PROMPT}
bash generate.sh 4 0 8 IP0 "3*7=?"
# 从节点IP1
bash generate.sh 4 1 8 IP0 "3*7=?"
# 从节点IP2
bash generate.sh 4 2 8 IP0 "3*7=?"
# 从节点IP3
bash generate.sh 4 3 8 IP0 "3*7=?"

模型默认为慢思考模式，可以通过以下手段切换至快思考模式：如generate.py示例中fast_thinking_template所示，在用户输入结尾添加 /no_think标记可以将当前轮次切换至快思考模式。

4.4 使用推理框架

Vllm_ascend：参考[vllm_ascend_for_openPangu_ultra_moe_718b]

5. 模型许可证

除文件中对开源许可证另有约定外，openPangu-Ultra-MoE-718B-V1.1 模型根据 OPENPANGU MODEL LICENSE AGREEMENT VERSION 1.0 授权，旨在允许使用并促进人工智能技术的进一步发展。有关详细信息，请参阅模型存储库根目录中的 LICENSE 文件。

6. 免责声明

由于 openPangu-Ultra-MoE-718B-V1.1 （“模型”）所依赖的技术固有的限制，以及人工智能生成的内容是由盘古自动生成的，华为无法对以下事项做出任何保证：

该模型的输出通过AI算法自动生成，不能排除某些信息可能存在缺陷、不合理或引起不适的可能性，生成的内容不代表华为的态度或立场；
无法保证该模型100%准确、可靠、功能齐全、及时、安全、无错误、不间断、持续稳定或无任何故障；
该模型的输出内容不构成任何建议或决策，也不保证生成的内容的真实性、完整性、准确性、及时性、合法性、功能性或实用性。生成的内容不能替代医疗、法律等领域的专业人士回答您的问题。生成的内容仅供参考，不代表华为的任何态度、立场或观点。您需要根据实际情况做出独立判断，华为不承担任何责任。

7. 反馈

如果有任何意见和建议，请提交 issue 或联系openPangu@huawei.com。