上级索引：verl/README.md。
本页面面向：已在昇腾机器上装好驱动 的用户，介绍如何使用 Verl + Megatron 框架跑通 DeepSeek-V3-671B 的 GRPO 训练。
技术细节与参数说明以 Verl 官方文档 为准。
按以下步骤操作后，你将在 Atlas 200T A2 Box16 上使用 Verl + Megatron 框架完成 DeepSeek-V3-671B 的 GRPO 训练。
本页不解决以下问题：宿主机未安装昇腾驱动、无对应机型——请先完成 昇腾环境准备。
在宿主机执行以下命令（有正常输出即可进入下一步）：
npu-smi info
python --version| 软件 | 版本 |
|---|---|
| Python | >= 3.10, <3.12 |
| CANN | == 8.5.0 |
| torch | == 2.8.0 |
| torch_npu | == 2.8.0 |
# 安装 MindSpeed
git clone https://gitcode.com/Ascend/MindSpeed.git
cd MindSpeed && git checkout 2.3.0_core_r0.12.1 && cd ..
# 安装 Megatron-LM
git clone --depth 1 --branch core_v0.12.1 https://github.com/NVIDIA/Megatron-LM.git
# 安装
pip install -e MindSpeed
pip install -e Megatron-LM
pip install mbridgesource /usr/local/Ascend/ascend-toolkit/set_env.sh
source /usr/local/Ascend/nnal/atb/set_env.sh
git clone --depth 1 --branch v0.13.0 https://github.com/vllm-project/vllm.git
cd vllm && pip install -r requirements/build.txt
VLLM_TARGET_DEVICE=empty pip install -v -e . && cd ..
git clone -b releases/v0.13.0 https://github.com/vllm-project/vllm-ascend.git
cd vllm-ascend && pip install -r requirements.txt
export COMPILE_CUSTOM_KERNELS=1 && pip install -v -e . && cd ..
git clone --recursive https://github.com/volcengine/verl.git
cd verl && pip install -r requirements-npu.txt && pip install -v -e . && cd ..| 来源 | 链接 |
|---|---|
| HuggingFace | deepseek-ai/DeepSeek-V3 |
python3 examples/data_preprocess/gsm8k.py --local_save_dir ~/data/gsm8k使用 Megatron 后端 进行训练（671B 大模型推荐）：
set -x
export VLLM_ATTENTION_BACKEND=XFORMERS
python3 -m verl.trainer.main_ppo \
algorithm.adv_estimator=grpo \
data.train_files=$HOME/data/gsm8k/train.parquet \
data.val_files=$HOME/data/gsm8k/test.parquet \
data.train_batch_size=8 \
data.max_prompt_length=512 \
data.max_response_length=128 \
data.filter_overlong_prompts=True \
data.truncation='error' \
actor_rollout_ref.model.path=deepseek-ai/DeepSeek-V3 \
actor_rollout_ref.actor.optim.lr=1e-6 \
actor_rollout_ref.model.use_remove_padding=False \
actor_rollout_ref.actor.entropy_coeff=0.001 \
actor_rollout_ref.actor.ppo_mini_batch_size=8 \
actor_rollout_ref.actor.ppo_micro_batch_size_per_gpu=1 \
actor_rollout_ref.actor.use_kl_loss=True \
actor_rollout_ref.actor.kl_loss_coef=0.001 \
actor_rollout_ref.model.enable_gradient_checkpointing=True \
actor_rollout_ref.actor.strategy=megatron \
actor_rollout_ref.actor.megatron.override_transformer_config.use_flash_attn=True \
actor_rollout_ref.rollout.tensor_model_parallel_size=4 \
actor_rollout_ref.rollout.pipeline_model_parallel_size=4 \
actor_rollout_ref.rollout.name=vllm \
actor_rollout_ref.rollout.gpu_memory_utilization=0.6 \
actor_rollout_ref.rollout.n=5 \
actor_rollout_ref.ref.strategy=megatron \
algorithm.kl_ctrl.kl_coef=0.001 \
trainer.critic_warmup=0 \
trainer.logger=console \
trainer.project_name='verl_grpo_example' \
trainer.experiment_name='deepseek_v3_671b_grpo' \
trainer.n_gpus_per_node=16 \
trainer.nnodes=1 \
trainer.save_freq=-1 \
trainer.test_freq=5 \
trainer.total_epochs=1 $@| 现象 | 建议 |
|---|---|
| 671B 模型显存不足 | 使用 Megatron 后端 + 开启梯度 checkpointing |
| 训练报错 | 检查 MindSpeed 和 Megatron-LM 版本是否匹配 |
| 并行配置 | 671B 模型需要配置 TP=4, PP=4 或更大 |
| 说明 | 链接 |
|---|---|
| Verl 官方文档 | 文档 |
| Ascend 快速开始 | ascend_quick_start |
| DeepSeek-V3 论文 | arXiv |
| GitHub 仓库 | volcengine/verl |
*环境版本与训练参数随 Verl 发布更新，若与官方文档冲突，以官方为准。