a
ascend_model_docs/Qwen2.5-32B_A2-A3_Verl-GRPO
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

【小白文档】Qwen2.5-32B × 昇腾 Atlas 800T A2 × Verl GRPO

上级索引：verl/README.md。
本页面面向：已在昇腾机器上装好驱动与 Docker 的用户，使用 Verl 框架跑通 Qwen2.5-32B 的 GRPO 训练。
技术细节与参数说明以 Verl 官方文档 为准。

你将得到什么

按以下步骤执行后：在 Atlas 200T A2 Box16 上使用 Verl 框架完成 Qwen2.5-32B 的 GRPO 训练。

本页不解决：宿主机未安装昇腾驱动、无对应机型、无 Docker——请先完成 昇腾环境准备。

目录

  • 0. 开始前确认（30 秒）
  • 1. 环境准备
  • 2. 下载模型与数据集
  • 3. 启动训练
  • 4. 常见问题

0. 开始前确认（30 秒）

在宿主机执行（有正常输出即可进入下一步）：

npu-smi info
docker --version
python --version
  • 机型：官方验证需 Atlas 200T A2 Box16。
  • GPU 数量：需要 8 卡。

1. 环境准备

1.1 安装基础环境

参考 Verl Ascend Quickstart，安装以下软件包：

softwareversion
Python>= 3.10, <3.12
CANN== 8.5.0
torch== 2.8.0
torch_npu== 2.8.0

1.2 安装其他软件包

pip install torchvision==0.22.1
pip uninstall -y triton triton-ascend
pip install triton-ascend==3.2.0
pip install transformers==4.57.6

1.3 安装 vllm & vllm-ascend

source /usr/local/Ascend/ascend-toolkit/set_env.sh
source /usr/local/Ascend/nnal/atb/set_env.sh

git clone --depth 1 --branch v0.13.0 https://github.com/vllm-project/vllm.git
cd vllm && pip install -r requirements/build.txt
VLLM_TARGET_DEVICE=empty pip install -v -e . && cd ..

git clone -b releases/v0.13.0 https://github.com/vllm-project/vllm-ascend.git
cd vllm-ascend && pip install -r requirements.txt
export COMPILE_CUSTOM_KERNELS=1 && pip install -v -e . && cd ..

1.4 安装 verl

git clone --recursive https://github.com/volcengine/verl.git
cd verl && pip install -r requirements-npu.txt && pip install -v -e . && cd ..

2. 下载模型与数据集

2.1 下载模型权重

来源链接
HuggingFaceQwen/Qwen2.5-32B-Instruct

2.2 下载并预处理数据集

python3 examples/data_preprocess/gsm8k.py --local_save_dir ~/data/gsm8k

3. 启动训练

在 verl 目录下执行：

set -x

export VLLM_ATTENTION_BACKEND=XFORMERS

python3 -m verl.trainer.main_ppo \
   algorithm.adv_estimator=grpo \
   data.train_files=$HOME/data/gsm8k/train.parquet \
   data.val_files=$HOME/data/gsm8k/test.parquet \
   data.train_batch_size=32 \
   data.max_prompt_length=512 \
   data.max_response_length=128 \
   data.filter_overlong_prompts=True \
   data.truncation='error' \
   actor_rollout_ref.model.path=Qwen/Qwen2.5-32B-Instruct \
   actor_rollout_ref.actor.optim.lr=1e-6 \
   actor_rollout_ref.model.use_remove_padding=False \
   actor_rollout_ref.actor.entropy_coeff=0.001 \
   actor_rollout_ref.actor.ppo_mini_batch_size=32 \
   actor_rollout_ref.actor.ppo_micro_batch_size_per_gpu=4 \
   actor_rollout_ref.actor.use_kl_loss=True \
   actor_rollout_ref.actor.kl_loss_coef=0.001 \
   actor_rollout_ref.actor.kl_loss_type=low_var_kl \
   actor_rollout_ref.model.enable_gradient_checkpointing=True \
   actor_rollout_ref.actor.fsdp_config.param_offload=True \
   actor_rollout_ref.actor.fsdp_config.optimizer_offload=True \
   actor_rollout_ref.rollout.log_prob_micro_batch_size_per_gpu=8 \
   actor_rollout_ref.rollout.enable_chunked_prefill=False \
   actor_rollout_ref.rollout.tensor_model_parallel_size=4 \
   actor_rollout_ref.rollout.name=vllm \
   actor_rollout_ref.rollout.gpu_memory_utilization=0.6 \
   actor_rollout_ref.rollout.n=5 \
   actor_rollout_ref.ref.log_prob_micro_batch_size_per_gpu=8 \
   actor_rollout_ref.ref.fsdp_config.param_offload=True \
   algorithm.kl_ctrl.kl_coef=0.001 \
   trainer.critic_warmup=0 \
   trainer.logger=console \
   trainer.project_name='verl_grpo_example' \
   trainer.experiment_name='qwen2_5_32b_grpo' \
   trainer.n_gpus_per_node=8 \
   trainer.nnodes=1 \
   trainer.save_freq=-1 \
   trainer.test_freq=5 \
   trainer.total_epochs=1 $@

4. 常见问题

现象建议
训练报错找不到 torch_npu检查 CANN 和 torch_npu 是否正确安装
OOM / 显存不足开启 offload: param_offload=True, optimizer_offload=True
模型下载慢宿主机预先下载并挂载到容器内
32B 模型需要更大显存建议使用 8 卡并开启模型和优化器 offload

相关链接

说明链接
Verl 官方文档文档
Ascend 快速开始ascend_quick_start
GitHub 仓库volcengine/verl

*环境版本与训练参数随 Verl 发布更新，若与官方文档冲突，以官方为准。