Qwen3-30B-A3B 是 Qwen3 系列中的 MoE(Mixture-of-Experts,混合专家)模型,具备以下特性:
decoder_sparse_step=1),128 个专家中每个 token 激活 8 个,路由得分经过归一化(norm_topk_prob=true),并通过路由辅助损失(router_aux_loss_coef=0.001)保证专家负载均衡。lm_head 不共享权重,输出层独立训练。LoRA(Low-Rank Adaptation)是一种参数高效微调方法:冻结基座模型权重 ,在目标模块旁路注入一对低秩矩阵 、(),前向计算变为:
h = W·x + (α/r) · B·A·x训练时仅更新 、,可训练参数量通常仅为总参数量的千分之几量级。
本案例基于 Atlas 800T A2 8卡节点进行 LoRA 微调。训练所需的 MindSpeed-LLM 框架及全套依赖已集成在官方训练镜像中,拉取镜像并启动容器即可,无需额外安装。
拉取训练镜像 mindspeed-llm:26.0.0-910b-openeuler24.03-py3.11-aarch64,并基于该镜像启动容器:
docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/mindspeed-llm:26.0.0-910b-openeuler24.03-py3.11-aarch64
export IMAGE=swr.cn-south-1.myhuaweicloud.com/ascendhub/mindspeed-llm:26.0.0-910b-openeuler24.03-py3.11-aarch64
docker run -itd --privileged --name="ms_Qwen3_30B" --net=host \
--shm-size 100g \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device=/dev/devmm_svm \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \
-v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
-v /usr/local/sbin:/usr/local/sbin \
-v /etc/hccn.conf:/etc/hccn.conf \
-v /home/xxx:/home/xxx \
$IMAGE \
bash其中 -v /home/xxx:/home/xxx 为宿主机与容器共享的工作目录,用于存放代码、模型权重和数据集,请替换为实际路径。
容器启动后,执行以下命令进入容器:
docker exec -it ms_Qwen3_30B /bin/bash从 Hugging Face 下载 Qwen3-30B-A3B-Instruct-2507 模型权重:
git clone https://huggingface.co/Qwen/Qwen3-30B-A3B-Instruct-2507 /home/xxx/models/Qwen3-30B-A3B-Instruct-2507MindSpeed-LLM 训练框架基于 Megatron-core(mcore)结构,不能直接读取 Hugging Face 权重,训练前需将 HF 权重转换为 mcore 格式。在 MindSpeed-LLM 代码仓根目录下执行:
bash demo/examples/mcore/qwen3_moe/ckpt_convert_qwen3_moe_hf2mcore.sh脚本内容如下,执行前需修改 ascend-toolkit 路径及权重加载/保存路径:
# 修改 ascend-toolkit 路径
export CUDA_DEVICE_MAX_CONNECTIONS=1
source /usr/local/Ascend/ascend-toolkit/set_env.sh
python convert_ckpt_v2.py \
--load-model-type hf \
--save-model-type mg \
--target-tensor-parallel-size 1 \
--target-pipeline-parallel-size 8 \
--target-expert-parallel-size 1 \
--load-dir /data/ \
--save-dir ./output/model_weights/qwen3_moe_mcore/ \
--model-type-hf qwen3-moe注:后续要做 LoRA 微调,权重转换时不要开启
--moe-grouped-gemm参数。原因是 MindSpeed-LLM 下 MoE 模型暂不支持开启--moe-grouped-gemm特性后的 LoRA 权重转换(第 6 章),故本案例在 3.2 转换基座权重时即保持该特性关闭。
训练数据为 Alpaca 格式的 .json 文件,MindSpeed-LLM 训练时使用 Megatron 的 .bin/.idx 二进制索引格式,训练前需调用 preprocess_data.py 完成格式转换。在 MindSpeed-LLM 代码仓根目录下执行:
bash demo/examples/mcore/qwen3_moe/data_convert_qwen3_moe_instruction.sh脚本内容如下,执行前需修改 set_env.sh 路径、数据路径及 tokenizer 路径:
source /usr/local/Ascend/ascend-toolkit/set_env.sh
mkdir ./output/finetune_dataset
python ./preprocess_data.py \
--input ./dataset/xxx/train.json \
--tokenizer-name-or-path /data/ \
--output-prefix ./output/finetune_dataset/alpaca \
--handler-name AlpacaStyleInstructionHandler \
--tokenizer-type PretrainedFromHF \
--workers 4 \
--log-interval 1000 \
--enable-thinking false \
--prompt-type qwen3权重与数据准备完成后,执行 LoRA 微调训练脚本。在 MindSpeed-LLM 代码仓根目录下执行:
bash demo/examples/mcore/qwen3_moe/tune_qwen3_30b_a3b_4K_lora_ptd.sh脚本通过 torchrun 拉起 8卡分布式训练,执行前需修改权重加载/保存路径、数据路径及 tokenizer 路径。
| 参数 | 说明 |
|---|---|
--weight-decay | 权重衰减系数,对可训练的 LoRA 参数施加 L2 正则化,防止微调过拟合 |
--global-batch-size | 全局批次大小,即一次参数更新消耗的样本数,由 micro-batch-size、卡数与梯度累计共同决定 |
--lr | 学习率,控制每次参数更新的步长,需与 global-batch-size 配合调整,通常配合 cosine 衰减与 warmup 使用 |
TRAIN_ITERS | 脚本变量,训练迭代次数,即参数更新总步数,按数据集规模确定,训练结束保存 LoRA 权重 |
训练产出的 LoRA 权重不能直接用于推理部署,需先合入基座模型。合并分两步:先将 Megatron 格式的 LoRA 权重与 base 权重合并为 Megatron 格式(6.1),再转换为 Hugging Face 格式(6.2)。
将训练产出的 LoRA 权重与基座权重按 合并,输出仍为 Megatron(mcore)格式。在 MindSpeed-LLM 代码仓根目录下执行:
source /usr/local/Ascend/ascend-toolkit/set_env.sh
mkdir -p logs
python convert_ckpt.py \
--model-type-hf qwen3-moe \
--spec mindspeed_llm.tasks.models.spec.qwen3_spec layer_spec \
--model-type GPT \
--use-mcore-models \
--load-model-type mg \
--save-model-type mg \
--load-dir ./output/model_weights/qwen3_moe_mcore/ \
--lora-load ./output/lora_ckt/ \
--lora-r 16 \
--lora-alpha 32 \
--lora-target-modules linear_qkv linear_proj linear_fc1 linear_fc2 \
--target-tensor-parallel-size 1 \
--target-pipeline-parallel-size 8 \
--save-dir ./output/model_weights/lora2mg \
2>&1 | tee logs/ckpt_covert_qwen3_moe_mcorelora2mcore_2.log其中 --load-dir 为第 3 章转换得到的基座 mcore 权重,--lora-load 为第 5 章训练保存的 LoRA 权重,LoRA 参数(r、alpha、target-modules)须与训练脚本保持一致,目标切分方式(TP=1、PP=8)与训练一致。
将合并后的 Megatron 权重转换为 Hugging Face 格式,供 vllm-ascend 部署使用:
bash demo/examples/mcore/qwen3_moe/ckpt_convert_qwen3_moe_mcore2hf.sh脚本内容如下,--load-dir 需修改为 6.1 输出的合并权重路径,--hf-cfg-dir 指向 3.1 下载的原始 HF 模型目录(提供 config.json 及 tokenizer 文件):
# 修改 ascend-toolkit 路径
source /usr/local/Ascend/ascend-toolkit/set_env.sh
export CUDA_DEVICE_MAX_CONNECTIONS=1
python convert_ckpt_v2.py \
--load-model-type mg \
--save-model-type hf \
--load-dir ./output/model_weights/lora2mg/ \
--save-dir ./hf_weights/qwen3_moe_hf/ \
--hf-cfg-dir /home/xxx/models/Qwen3-30B-A3B-Instruct-2507 \
--model-type-hf qwen3-moe注:与 3.2 相同,此处同样不开启
--moe-grouped-gemm,与 6.1 合并产出的权重格式保持一致。
转换完成后,--save-dir 目录中即为合入 LoRA 权重的完整 Hugging Face 格式模型,可直接用于第 7 章的推理部署。
推理采用 vllm-ascend 框架部署合入 LoRA 权重后的模型。
拉取 vllm-ascend 官方推理镜像,并基于该镜像启动容器:
docker pull quay.io/ascend/vllm-ascend:v0.14.0rc2#!/bin/bash
export image_id="quay.io/ascend/vllm-ascend:v0.14.0rc2"
export docker_name=Qwen3-30B_instruct_ascend_lora_new
export docker_script_dir=${ROOT_DIR}/docker_vllm_ascend_${docker_name}/bin_in_docker
export model_data=/data/Qwen30B
docker run -itd --privileged --name="$docker_name" --net=host \
--shm-size 100g \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device=/dev/devmm_svm \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \
-v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
-v /usr/local/sbin:/usr/local/sbin \
-v /etc/hccn.conf:/etc/hccn.conf \
-v "$model_data:/data" \
-v "$docker_script_dir:/root/bin" \
-v "$docker_script_dir:/vllm-workspace/bin" \
"$image_id" \
bash其中 $model_data 为宿主机上存放 6.2 节转换后 HF 权重的目录,挂载到容器内 /data;$docker_script_dir 为启动脚本目录,挂载到容器内供直接执行。
进入容器后,配置环境变量并启动 vllm 推理服务:
export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_BUFFSIZE=1024
export OMP_NUM_THREADS=10
export OMP_PROC_BIND=false
weight_path="/data"
vllm serve $weight_path \
--served-model-name "qwen3" \
--host 0.0.0.0 \
--port 8010 \
--data-parallel-size 1 \
--tensor-parallel-size 4 \
--max-model-len 32768 \
--max-num-batched-tokens 16384 \
--max-num-seqs 128 \
--gpu-memory-utilization 0.94 \
--trust-remote-code \
--async-scheduling \
--allowed-local-media-path / \
--mm-processor-cache-gb 0 \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--additional-config '{"enable_cpu_binding":true, "multistream_overlap_shared_expert": true}'服务启动完成后,可通过 OpenAI 兼容接口验证推理服务是否正常:
curl http://localhost:8010/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen3","messages":[{"role":"user","content":"你好,请问你是谁?"}],"temperature":0.7}'返回正常的对话响应即表示部署成功。