Ascend 910C 适配—— 全参微调(4卡)+ 推理服务
LingBot-VLA 2.0 是面向机器人控制的 Vision-Language-Action 基础模型,参数量 6.38 B,采用 Qwen3-VL-4B 作为 VLM 骨干,配合 MoE 动作专家与 Depth / FutureVideo 多任务头。
核心架构:
| 组件 | 说明 |
|---|---|
| VLM 骨干 | Qwen3-VL-4B-Instruct |
| 动作专家 | MoE(36 层,32 experts,top-4) |
| 参数量 | 6.38 B |
| 可训练参数 | 6.38 B(100%,全参) |
| 动作空间 | 55 维 |
| 多任务头 | Depth / Future Depth / Future Video |
| 模型 | 任务列表 | 是否支持 |
|---|---|---|
| LingBot-VLA 2.0 | 微调(4卡 全参) | ✔ |
| LingBot-VLA 2.0 | 推理(服务化 / 离线) | ✔ |
url=https://github.com/robbyant/lingbot-vla-v2url=https://gitcode.com/gh_mirrors/li/lingbot-vla-v2LingBot-VLA-v2/
├── README.md
├── lingbot_v2.patch # 源码补丁(unified diff)
├── test/
│ ├── train_1p_full.sh # 全参微调启动
│ ├── train_1p_perf.sh # 性能测试
│ ├── serve_1p.sh # 推理服务(nohup 常驻)
│ ├── client_1p.py # 服务客户端示例
│ └── infer_latency.py # 离线延迟测试
├── configs/
│ └── robotwin_ft_npu.yaml # 训练配置(相对路径)
└── loss_curve.png # 全参训练 loss 曲线| 类别 | 指标 | 值 | 口径 |
|---|---|---|---|
| 训练 | 步数 | 4,814 | 完整 1 epoch(38,513 样本 / 8) |
| 训练 | StepTime 中位 | 6.00 s/it | min 5.10 / max 16.34 |
| 训练 | 吞吐 | 1.33 样本/s | 8 chip, global_batch=8, bf16 |
| 训练 | VLA_Loss | 0.4875 → 0.1245 | 最低 0.0362 |
| 训练 | OOM | 0 | TASK_QUEUE_ENABLE=1 |
| 推理 | 延迟(均值 ± 标准差) | 3149.54 ± 32.29 ms | 单 chip,100 次,chunk=50 |
| 推理 | HBM | 11.88 GiB | 单 chip 61.3 GiB 的 19.4% |
全部数据来自本机实测:训练曲线见
test/train_1p_full.sh输出的日志(4,814 条Step N/4814记录),推理数据由test/infer_latency.py生成(100 次计时 + 10 次预热)。
表 E1 硬件与系统环境
| 项目 | 本环境实测 | 核对方法 |
|---|---|---|
| 适配硬件 | Atlas 800T A3 | hostname |
| 卡型 | Ascend 910(Ascend910_9382) | npu-smi info |
| SOC 型号 | ascend910_9391 | npu-smi info -t board -i 0 |
| NPU 数量 | 4卡 | npu-smi info -m |
| 单 chip HBM | 64 GB(可用 61.3 GiB) | npu-smi info |
| 操作系统 | Ubuntu 22.04.5 LTS | cat /etc/os-release |
| 内核 | 5.10.0-216.0.0.115.oe2203sp4.aarch64 | uname -r |
| CPU | 640 核 | env -u OMP_NUM_THREADS nproc |
⚠️ 两个关键陷阱
nproc显示 1 不代表只有 1 核。容器常设OMP_NUM_THREADS=1,而 GNUnproc直接返回该值。用env -u OMP_NUM_THREADS nproc查真值(本环境 640 核)。ASCEND_RT_VISIBLE_DEVICES必须用 Chip Logic ID。混用 Logic ID 与 Phy-ID(如0,1,2,3,4,5,8,9)会让torch.npu.device_count()少于预期,并导致 HCCL 建链超时。启动前用torch.npu.device_count()验证。
export IMAGE=<镜像仓库地址>/cann:9.0.1-910-ubuntu22.04
docker pull ${IMAGE}
docker images | grep cann⚠️ 版本标签必填:
tag必须与表 E2 的 CANN(9.0.1)/ 系统(Ubuntu 22.04)对应,禁止使用latest。 若运行于平台托管的 K8s 容器,镜像坐标无法从容器内获取,需由平台管理员提供。
启动容器(8 chip):
docker run -itd --name lingbot_vla_v2 \
--device=/dev/davinci0 --device=/dev/davinci1 \
--device=/dev/davinci2 --device=/dev/davinci3 \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v "$(pwd)":/workspace \
--ipc=host --shm-size=64g --net=host \
${IMAGE} /bin/bash并行度与卡数一致:
--num_npus必须等于容器内可见 chip 数;global_batch_size = micro_batch_size × num_npus。
| 项目 | 官方要求 | 本环境实测 |
|---|---|---|
| CANN | ≥ 8.0.RC1 | 9.0.1 |
| 驱动 | 与 CANN 配套 | npu-smi 25.5.0 |
| Python | 3.10 ~ 3.12 | 3.12.13 |
| PyTorch | 2.7.x | 2.7.1 |
| torch_npu | 与 PyTorch 主次版本严格一致 | 2.7.1.post11 |
source /usr/local/Ascend/ascend-toolkit/set_env.sh
python -c "import torch, torch_npu; print(torch.__version__, torch_npu.__version__)"
python -c "import torch_npu; print('device_count =', torch.npu.device_count())"表 E2 版本矩阵(镜像内 vs 宿主机)
| 类别 | 组件 | 版本 | 查询命令 |
|---|---|---|---|
| 宿主机 | NPU 驱动 | npu-smi 25.5.0 | npu-smi info |
| 宿主机 | 固件 | 7.8.0.5.216 | npu-smi info -t board -i 0 |
| 镜像内 | CANN | 9.0.1 | cat /usr/local/Ascend/ascend-toolkit/latest/version.cfg |
| 镜像内 | TorchNPU | 2.7.1.post11 | pip show torch_npu |
| 镜像内 | PyTorch | 2.7.1 | python -c "import torch;print(torch.__version__)" |
| 镜像内 | Python | 3.12.13 | python -V |
若容器内无 NPU 设备节点,
npu-smi不可用,宿主机两项需在带设备的机器上采集。
# 1) 创建虚拟环境
python3.12 -m venv ./envs/v2
source ./envs/v2/bin/activate
# 2) 安装依赖(版本须与表 E2 一致)
pip install torch==2.7.1 torch_npu==2.7.1.post11
pip install -r ./lingbot-vla-v2/requirements.txt
# 3) 应用 NPU 适配补丁
cd ./lingbot-vla-v2
git apply --check ../LingBot-VLA-v2/lingbot_v2.patch
git apply ../LingBot-VLA-v2/lingbot_v2.patch补丁改动两处(共 44 行):
| 文件 | 改动内容 |
|---|---|
lingbotvla/models/vla/lingbot_vla/configuration_lingbot_vla.py | vit_attn_implementation 默认值 flash_attention_2 → sdpa |
lingbotvla/models/vla/lingbot_vla/modeling_lingbot_vla_v2.py | QwenvlWithExpertV2Model 前向中 _attn_implementation 统一为 sdpa |
| 模型 | 用途 | 体积 | 链接 |
|---|---|---|---|
robbyant/lingbot-vla-v2-6b | 主干(native depth) | 27 GB | https://huggingface.co/robbyant/lingbot-vla-v2-6b |
Qwen/Qwen3-VL-4B-Instruct | VLM 骨干 / tokenizer | 8.3 GB | https://huggingface.co/Qwen/Qwen3-VL-4B-Instruct |
Ruicheng/moge-2-vitb-normal | depth 蒸馏 | — | https://huggingface.co/Ruicheng/moge-2-vitb-normal |
export HF_ENDPOINT=https://huggingface.co
huggingface-cli download robbyant/lingbot-vla-v2-6b --local-dir ./models/lingbot-vla-v2-6b
huggingface-cli download Qwen/Qwen3-VL-4B-Instruct --local-dir ./models/Qwen3-VL-4B-InstructRoboTwin click_bell 任务的 LeRobot 格式数据,两种获取方式。
huggingface-cli download robbyant/robotwin-clean-and-aug-lerobot \
--repo-type dataset \
--include "lerobot_robotwin_eef_aug_500/click_bell-aloha-agilex_randomized_500-1000/*" \
--local-dir ${ROOT_DIR}/datasets/click_bell_aloha_repo数据集地址:https://huggingface.co/datasets/robbyant/robotwin-clean-and-aug-lerobot
| 项 | 内容 |
|---|---|
| 子集路径 | lerobot_robotwin_eef_aug_500/click_bell-aloha-agilex_randomized_500-1000 |
| 规格 | 500 episodes / 38,513 帧 / 50 fps / 404 tasks |
| 体积 | 约 546 MB |
git clone https://github.com/RoboTwin-Platform/RoboTwin.git
cd RoboTwin && git checkout 13c3c47ff4312dd62484bcd51be034af55c062d1
# 下载原始数据解压到 data/
# https://huggingface.co/datasets/TianxingChen/RoboTwin2.0/tree/main/dataset
cd policy/pi0 && bash process_data_pi0.sh click_bell aloha-agilex_randomized_500 50
cp -r processed_data/click_bell-aloha-agilex_randomized_500-50 \
${ROOT_DIR}/datasets/click_bell_aloha_repov2 不裁切数据,通过 data.joints 声明维度语义,运行时补零对齐到 max_action_dim:
data:
train_path: ./datasets/click_bell_aloha_repo14
joints:
- arm.position: 14 # 双臂关节,声明为上限(实际 12 维 + 2 维余量)
- effector.position: 2 # 两个夹爪加载流程(lingbotvla/data/vla_data/transform.py):
# 按 joints 切片拼接 → F.pad 到 max_action_dim(55)
action = F.pad(action, (0, max_action_dim - action.shape[-1]))同时生成 action_joint_mask 标记有效维度,损失函数只对 mask 为 True 的位计算,
补零位不参与梯度。
实测输出:
actions's shape: torch.Size([1, 50, 55])
action_joint_mask's shape: torch.Size([1, 55]) # 前若干位 True,其余 False
arm.position: 14是声明上限,官方注释为must >= total dim of concatenated arm position slices (6+6=12), 给 padding 留余量。数据不足 14 维时补零,超出则报错。归一化方式由
norm_type指定(本次为bounds_99_woclip),运行时计算,无需预置 json。
cd lingbot-vla-v2
# 1) 应用源码补丁(详见「安装模型环境」)
git apply ../LingBot-VLA-v2/lingbot_v2.patch
# 2) 放置脚本与配置
cp -r ../LingBot-VLA-v2/test .
cp ../LingBot-VLA-v2/configs/robotwin_ft_npu.yaml configs/vla/robotwin/
# 3) 必需的环境变量
export TASK_QUEUE_ENABLE=1 # ★ =2 会 OOM(15.38 GiB workspace)
unset OMP_NUM_THREADS # ★ 放开 640 核
unset CPU_AFFINITY_CONF # ★ 避免主 rank 绑死 CPU 0
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
# 4) 启动 8 chip 全参微调
bash test/train_1p_full.sh --num_npus 8 --global_batch_size 8 --max_steps 4814脚本关键参数:
| 参数 | 默认值 | 说明 |
|---|---|---|
--num_npus | 1 | NPU 进程数,须等于可见 chip 数 |
--global_batch_size | 1 | 全局 batch = micro_batch_size × num_npus |
--max_steps | 5500 | 训练步数(1 epoch = 4,814) |
--config_path | ${ROOT_DIR}/configs/vla/robotwin/robotwin_ft_npu.yaml | 训练配置 |
--output_dir | ${ROOT_DIR}/output_v2_ft | 输出目录 |
核心配置(configs/robotwin_ft_npu.yaml):
train:
data_parallel_mode: fsdp2
enable_full_shard: true # ZeRO-3
enable_gradient_checkpointing: true
train_expert_only: false # ★ 全参(默认 true 会冻结 VLM)
freeze_vision_encoder: false
micro_batch_size: 1
global_batch_size: 8 # 8 chip × 1
max_steps: 4814 # 完整 1 epoch(38513/8)
enable_fp32: false # bf16功能验证:
# 最小验证:只跑 10 步
bash test/train_1p_full.sh --num_npus 8 --max_steps 10预期输出与判定标准:
| 检查项 | 预期 | 说明 |
|---|---|---|
出现 Step N/4814 | ✅ | 数据加载正常 |
VLA_Loss 非 nan/inf | ✅ | 反向传播正常 |
| StepTime | ≈ 6.00 s/it | 8 chip 全参 |
| OOM | 0 次 | TASK_QUEUE_ENABLE=1 关键 |
| 显存峰值 | 约 26 GiB / chip | 单 chip 61.3 GiB 的 42% |
表 3 正式训练结果(本环境实测)
| 指标 | 值 |
|---|---|
| 完成步数 | 4,814 / 4,814 |
| StepTime 中位 | 6.00 s/it(min 5.10 / max 16.34) |
| 吞吐 | 1.33 样本/s |
| VLA_Loss | 0.4875 → 0.1245 |
| 最低 VLA_Loss | 0.0362 |
| 前 10% → 后 10% 均值 | 0.2019 → 0.0723 |
| 总耗时 | 约 8.0 h |
| OOM | 0 |
与 frozen-VLM(1 chip)对比:
| 指标 | 全参 8chip | frozen-VLM 1chip |
|---|---|---|
| 可训练参数 | 6.38 B(100%) | 0.56 B(8.8%) |
| 训练步数 | 4,814 | 12,000 |
| 有效样本量 | 38,512(gb=8) | 12,000(gb=1) |
| StepTime 中位 | 6.00 s/it | 3.35 s/it |
| 吞吐 | 1.33 样本/s | 0.30 样本/s |
| VLA_Loss 首→末 | 0.4875 → 0.1245 | 0.5162 → 0.2236 |
| VLA_Loss 最低 | 0.0362 | 0.0251 |
全参可训练参数是 frozen 的 11.4 倍,吞吐是 4.4 倍(同样本量下 8 chip 需 2.55 h,1 chip 需 11.32 h)。

图 1 LingBot-VLA 2.0 全参微调(8 chip)VLA_Loss 收敛曲线。 浅色为逐步原始值(4,814 点),深色为 30 步滑动平均;红色虚线标注平滑最低点 0.0611。
cd lingbot-vla-v2
export TASK_QUEUE_ENABLE=1
unset OMP_NUM_THREADS
export ASCEND_RT_VISIBLE_DEVICES=0
export ASCEND_LAUNCH_BLOCKING=1 # ★ 必须,否则 Triton kernel 死锁
bash ../LingBot-VLA-v2/test/serve_1p.sh --port 8123⚠️ 必须设置
ASCEND_LAUNCH_BLOCKING=1,否则 Triton kernel 会死锁(症状:进程存活但 AICore 0%、CPU 时间增量为 0)。
常用参数:
| 参数 | 默认值 | 说明 |
|---|---|---|
--port | 8123 | 服务端口 |
--use_length | 50 | 动作 chunk 长度 |
--gpus | 0 | NPU 序号 |
--foreground / --status / --stop | — | 前台 / 状态 / 停止 |
# 单次调用
python test/client_1p.py --port 8123
# 连续调用并统计延迟(v2 的 state 是 55 维)
python test/client_1p.py --port 8123 --repeat 10 --state-dim 55cd lingbot-vla-v2
export ASCEND_RT_VISIBLE_DEVICES=0
export ASCEND_LAUNCH_BLOCKING=1
export MASTER_ADDR=127.0.0.1 MASTER_PORT=29880 RANK=0 WORLD_SIZE=1 LOCAL_RANK=0
# 自研 ckpt(100 次计时 + 10 次预热)
python ../LingBot-VLA-v2/test/infer_latency.py \
--model ./output_v2_full8/checkpoints/global_step_4814/hf_ckpt \
--steps 100 --warmup 10 --tag full8表 4 推理延迟实测(单 chip Ascend910,bf16,100 次,chunk=50)
| 指标 | 值 |
|---|---|
| 均值 ± 标准差 | 3149.54 ± 32.29 ms |
| 加载 HBM | 11.88 GiB |
| 峰值 HBM | 12.60 GiB |
| 参数量 | 6.376 B |
| 输出 shape | [1, 50, 55] bf16 |
| 加载耗时 | 35.7 s |
判定标准:
| 检查项 | 预期 | 不通过的典型表现 |
|---|---|---|
| 均值延迟 | ≈ 3150 ms | 明显偏慢 → 确认 ASCEND_LAUNCH_BLOCKING=1 |
| HBM | ≈ 11.9 GiB | 异常 → 检查是否单 chip 运行 |
| 输出 shape | [1, 50, 55] bf16 | 不符 → 检查 chunk_size 与 action_dim |