Ascend-SACT/LingBot-VLA-v2
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

LingBot-VLA 2.0昇腾NPU适配

Ascend 910C 适配—— 全参微调(4卡)+ 推理服务

目录

  • 简介
  • 性能基线总览
  • 准备训练环境
  • 准备模型权重与数据集
  • 快速开始
    • 微调任务
    • 推理任务

简介

模型介绍

LingBot-VLA 2.0 是面向机器人控制的 Vision-Language-Action 基础模型,参数量 6.38 B,采用 Qwen3-VL-4B 作为 VLM 骨干,配合 MoE 动作专家与 Depth / FutureVideo 多任务头。

核心架构:

组件说明
VLM 骨干Qwen3-VL-4B-Instruct
动作专家MoE(36 层,32 experts,top-4)
参数量6.38 B
可训练参数6.38 B(100%,全参)
动作空间55 维
多任务头Depth / Future Depth / Future Video

支持任务列表

模型任务列表是否支持
LingBot-VLA 2.0微调(4卡 全参)✔
LingBot-VLA 2.0推理(服务化 / 离线)✔

代码实现

  • 参考实现:url=https://github.com/robbyant/lingbot-vla-v2
  • GitCode 镜像:url=https://gitcode.com/gh_mirrors/li/lingbot-vla-v2
  • 交付目录构成:
LingBot-VLA-v2/
├── README.md
├── lingbot_v2.patch              # 源码补丁(unified diff)
├── test/
│   ├── train_1p_full.sh          # 全参微调启动
│   ├── train_1p_perf.sh          # 性能测试
│   ├── serve_1p.sh               # 推理服务(nohup 常驻)
│   ├── client_1p.py              # 服务客户端示例
│   └── infer_latency.py          # 离线延迟测试
├── configs/
│   └── robotwin_ft_npu.yaml      # 训练配置(相对路径)
└── loss_curve.png                # 全参训练 loss 曲线

性能基线总览

类别指标值口径
训练步数4,814完整 1 epoch(38,513 样本 / 8)
训练StepTime 中位6.00 s/itmin 5.10 / max 16.34
训练吞吐1.33 样本/s8 chip, global_batch=8, bf16
训练VLA_Loss0.4875 → 0.1245最低 0.0362
训练OOM0TASK_QUEUE_ENABLE=1
推理延迟(均值 ± 标准差)3149.54 ± 32.29 ms单 chip,100 次,chunk=50
推理HBM11.88 GiB单 chip 61.3 GiB 的 19.4%

全部数据来自本机实测:训练曲线见 test/train_1p_full.sh 输出的日志(4,814 条 Step N/4814 记录),推理数据由 test/infer_latency.py 生成(100 次计时 + 10 次预热)。


准备训练环境

环境确认

表 E1 硬件与系统环境

项目本环境实测核对方法
适配硬件Atlas 800T A3hostname
卡型Ascend 910(Ascend910_9382)npu-smi info
SOC 型号ascend910_9391npu-smi info -t board -i 0
NPU 数量4卡npu-smi info -m
单 chip HBM64 GB(可用 61.3 GiB)npu-smi info
操作系统Ubuntu 22.04.5 LTScat /etc/os-release
内核5.10.0-216.0.0.115.oe2203sp4.aarch64uname -r
CPU640 核env -u OMP_NUM_THREADS nproc

⚠️ 两个关键陷阱

  1. nproc 显示 1 不代表只有 1 核。容器常设 OMP_NUM_THREADS=1,而 GNU nproc 直接返回该值。用 env -u OMP_NUM_THREADS nproc 查真值(本环境 640 核)。
  2. ASCEND_RT_VISIBLE_DEVICES 必须用 Chip Logic ID。混用 Logic ID 与 Phy-ID(如 0,1,2,3,4,5,8,9)会让 torch.npu.device_count() 少于预期,并导致 HCCL 建链超时。启动前用 torch.npu.device_count() 验证。

获取镜像

export IMAGE=<镜像仓库地址>/cann:9.0.1-910-ubuntu22.04
docker pull ${IMAGE}
docker images | grep cann

⚠️ 版本标签必填:tag 必须与表 E2 的 CANN(9.0.1)/ 系统(Ubuntu 22.04)对应,禁止使用 latest。 若运行于平台托管的 K8s 容器,镜像坐标无法从容器内获取,需由平台管理员提供。

启动容器(8 chip):

docker run -itd --name lingbot_vla_v2 \
  --device=/dev/davinci0 --device=/dev/davinci1 \
  --device=/dev/davinci2 --device=/dev/davinci3 \
  --device=/dev/davinci_manager \
  --device=/dev/devmm_svm \
  --device=/dev/hisi_hdc \
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
  -v /usr/local/dcmi:/usr/local/dcmi \
  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
  -v "$(pwd)":/workspace \
  --ipc=host --shm-size=64g --net=host \
  ${IMAGE} /bin/bash

并行度与卡数一致:--num_npus 必须等于容器内可见 chip 数; global_batch_size = micro_batch_size × num_npus。

安装昇腾环境

项目官方要求本环境实测
CANN≥ 8.0.RC19.0.1
驱动与 CANN 配套npu-smi 25.5.0
Python3.10 ~ 3.123.12.13
PyTorch2.7.x2.7.1
torch_npu与 PyTorch 主次版本严格一致2.7.1.post11
source /usr/local/Ascend/ascend-toolkit/set_env.sh
python -c "import torch, torch_npu; print(torch.__version__, torch_npu.__version__)"
python -c "import torch_npu; print('device_count =', torch.npu.device_count())"

核对软件版本

表 E2 版本矩阵(镜像内 vs 宿主机)

类别组件版本查询命令
宿主机NPU 驱动npu-smi 25.5.0npu-smi info
宿主机固件7.8.0.5.216npu-smi info -t board -i 0
镜像内CANN9.0.1cat /usr/local/Ascend/ascend-toolkit/latest/version.cfg
镜像内TorchNPU2.7.1.post11pip show torch_npu
镜像内PyTorch2.7.1python -c "import torch;print(torch.__version__)"
镜像内Python3.12.13python -V

若容器内无 NPU 设备节点,npu-smi 不可用,宿主机两项需在带设备的机器上采集。

安装模型环境

# 1) 创建虚拟环境
python3.12 -m venv ./envs/v2
source ./envs/v2/bin/activate

# 2) 安装依赖(版本须与表 E2 一致)
pip install torch==2.7.1 torch_npu==2.7.1.post11
pip install -r ./lingbot-vla-v2/requirements.txt

# 3) 应用 NPU 适配补丁
cd ./lingbot-vla-v2
git apply --check ../LingBot-VLA-v2/lingbot_v2.patch
git apply ../LingBot-VLA-v2/lingbot_v2.patch

补丁改动两处(共 44 行):

文件改动内容
lingbotvla/models/vla/lingbot_vla/configuration_lingbot_vla.pyvit_attn_implementation 默认值 flash_attention_2 → sdpa
lingbotvla/models/vla/lingbot_vla/modeling_lingbot_vla_v2.pyQwenvlWithExpertV2Model 前向中 _attn_implementation 统一为 sdpa

准备模型权重与数据集

模型权重

模型用途体积链接
robbyant/lingbot-vla-v2-6b主干(native depth)27 GBhttps://huggingface.co/robbyant/lingbot-vla-v2-6b
Qwen/Qwen3-VL-4B-InstructVLM 骨干 / tokenizer8.3 GBhttps://huggingface.co/Qwen/Qwen3-VL-4B-Instruct
Ruicheng/moge-2-vitb-normaldepth 蒸馏—https://huggingface.co/Ruicheng/moge-2-vitb-normal
export HF_ENDPOINT=https://huggingface.co
huggingface-cli download robbyant/lingbot-vla-v2-6b --local-dir ./models/lingbot-vla-v2-6b
huggingface-cli download Qwen/Qwen3-VL-4B-Instruct --local-dir ./models/Qwen3-VL-4B-Instruct

数据集

RoboTwin click_bell 任务的 LeRobot 格式数据,两种获取方式。

方式一:下载转换好的数据

huggingface-cli download robbyant/robotwin-clean-and-aug-lerobot \
  --repo-type dataset \
  --include "lerobot_robotwin_eef_aug_500/click_bell-aloha-agilex_randomized_500-1000/*" \
  --local-dir ${ROOT_DIR}/datasets/click_bell_aloha_repo

数据集地址:https://huggingface.co/datasets/robbyant/robotwin-clean-and-aug-lerobot

项内容
子集路径lerobot_robotwin_eef_aug_500/click_bell-aloha-agilex_randomized_500-1000
规格500 episodes / 38,513 帧 / 50 fps / 404 tasks
体积约 546 MB

方式二:从原始数据转换(需 GPU 渲染)

git clone https://github.com/RoboTwin-Platform/RoboTwin.git
cd RoboTwin && git checkout 13c3c47ff4312dd62484bcd51be034af55c062d1

# 下载原始数据解压到 data/
# https://huggingface.co/datasets/TianxingChen/RoboTwin2.0/tree/main/dataset

cd policy/pi0 && bash process_data_pi0.sh click_bell aloha-agilex_randomized_500 50

cp -r processed_data/click_bell-aloha-agilex_randomized_500-50 \
      ${ROOT_DIR}/datasets/click_bell_aloha_repo

数据配置:joints 声明 + pad 填充

v2 不裁切数据,通过 data.joints 声明维度语义,运行时补零对齐到 max_action_dim:

data:
  train_path: ./datasets/click_bell_aloha_repo14
  joints:
    - arm.position: 14          # 双臂关节,声明为上限(实际 12 维 + 2 维余量)
    - effector.position: 2      # 两个夹爪

加载流程(lingbotvla/data/vla_data/transform.py):

# 按 joints 切片拼接 → F.pad 到 max_action_dim(55)
action = F.pad(action, (0, max_action_dim - action.shape[-1]))

同时生成 action_joint_mask 标记有效维度,损失函数只对 mask 为 True 的位计算, 补零位不参与梯度。

实测输出:

actions's shape:          torch.Size([1, 50, 55])
action_joint_mask's shape: torch.Size([1, 55])   # 前若干位 True,其余 False

arm.position: 14 是声明上限,官方注释为 must >= total dim of concatenated arm position slices (6+6=12), 给 padding 留余量。数据不足 14 维时补零,超出则报错。

归一化方式由 norm_type 指定(本次为 bounds_99_woclip),运行时计算,无需预置 json。

快速开始

微调任务

执行微调

cd lingbot-vla-v2

# 1) 应用源码补丁(详见「安装模型环境」)
git apply ../LingBot-VLA-v2/lingbot_v2.patch

# 2) 放置脚本与配置
cp -r ../LingBot-VLA-v2/test .
cp ../LingBot-VLA-v2/configs/robotwin_ft_npu.yaml configs/vla/robotwin/

# 3) 必需的环境变量
export TASK_QUEUE_ENABLE=1        # ★ =2 会 OOM(15.38 GiB workspace)
unset OMP_NUM_THREADS             # ★ 放开 640 核
unset CPU_AFFINITY_CONF           # ★ 避免主 rank 绑死 CPU 0
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7

# 4) 启动 8 chip 全参微调
bash test/train_1p_full.sh --num_npus 8 --global_batch_size 8 --max_steps 4814

脚本关键参数:

参数默认值说明
--num_npus1NPU 进程数,须等于可见 chip 数
--global_batch_size1全局 batch = micro_batch_size × num_npus
--max_steps5500训练步数(1 epoch = 4,814)
--config_path${ROOT_DIR}/configs/vla/robotwin/robotwin_ft_npu.yaml训练配置
--output_dir${ROOT_DIR}/output_v2_ft输出目录

核心配置(configs/robotwin_ft_npu.yaml):

train:
  data_parallel_mode: fsdp2
  enable_full_shard: true              # ZeRO-3
  enable_gradient_checkpointing: true
  train_expert_only: false             # ★ 全参(默认 true 会冻结 VLM)
  freeze_vision_encoder: false
  micro_batch_size: 1
  global_batch_size: 8                 # 8 chip × 1
  max_steps: 4814                      # 完整 1 epoch(38513/8)
  enable_fp32: false                   # bf16

功能验证:

# 最小验证:只跑 10 步
bash test/train_1p_full.sh --num_npus 8 --max_steps 10

预期输出与判定标准:

检查项预期说明
出现 Step N/4814✅数据加载正常
VLA_Loss 非 nan/inf✅反向传播正常
StepTime≈ 6.00 s/it8 chip 全参
OOM0 次TASK_QUEUE_ENABLE=1 关键
显存峰值约 26 GiB / chip单 chip 61.3 GiB 的 42%

微调结果展示

表 3 正式训练结果(本环境实测)

指标值
完成步数4,814 / 4,814
StepTime 中位6.00 s/it(min 5.10 / max 16.34)
吞吐1.33 样本/s
VLA_Loss0.4875 → 0.1245
最低 VLA_Loss0.0362
前 10% → 后 10% 均值0.2019 → 0.0723
总耗时约 8.0 h
OOM0

与 frozen-VLM(1 chip)对比:

指标全参 8chipfrozen-VLM 1chip
可训练参数6.38 B(100%)0.56 B(8.8%)
训练步数4,81412,000
有效样本量38,512(gb=8)12,000(gb=1)
StepTime 中位6.00 s/it3.35 s/it
吞吐1.33 样本/s0.30 样本/s
VLA_Loss 首→末0.4875 → 0.12450.5162 → 0.2236
VLA_Loss 最低0.03620.0251

全参可训练参数是 frozen 的 11.4 倍,吞吐是 4.4 倍(同样本量下 8 chip 需 2.55 h,1 chip 需 11.32 h)。

全参训练 loss 曲线

图 1 LingBot-VLA 2.0 全参微调(8 chip)VLA_Loss 收敛曲线。 浅色为逐步原始值(4,814 点),深色为 30 步滑动平均;红色虚线标注平滑最低点 0.0611。

推理任务

启动推理服务

cd lingbot-vla-v2
export TASK_QUEUE_ENABLE=1
unset OMP_NUM_THREADS
export ASCEND_RT_VISIBLE_DEVICES=0
export ASCEND_LAUNCH_BLOCKING=1   # ★ 必须,否则 Triton kernel 死锁

bash ../LingBot-VLA-v2/test/serve_1p.sh --port 8123

⚠️ 必须设置 ASCEND_LAUNCH_BLOCKING=1,否则 Triton kernel 会死锁(症状:进程存活但 AICore 0%、CPU 时间增量为 0)。

常用参数:

参数默认值说明
--port8123服务端口
--use_length50动作 chunk 长度
--gpus0NPU 序号
--foreground / --status / --stop—前台 / 状态 / 停止

服务化调用

# 单次调用
python test/client_1p.py --port 8123

# 连续调用并统计延迟(v2 的 state 是 55 维)
python test/client_1p.py --port 8123 --repeat 10 --state-dim 55

离线延迟测试

cd lingbot-vla-v2
export ASCEND_RT_VISIBLE_DEVICES=0
export ASCEND_LAUNCH_BLOCKING=1
export MASTER_ADDR=127.0.0.1 MASTER_PORT=29880 RANK=0 WORLD_SIZE=1 LOCAL_RANK=0

# 自研 ckpt(100 次计时 + 10 次预热)
python ../LingBot-VLA-v2/test/infer_latency.py \
    --model ./output_v2_full8/checkpoints/global_step_4814/hf_ckpt \
    --steps 100 --warmup 10 --tag full8

表 4 推理延迟实测(单 chip Ascend910,bf16,100 次,chunk=50)

指标值
均值 ± 标准差3149.54 ± 32.29 ms
加载 HBM11.88 GiB
峰值 HBM12.60 GiB
参数量6.376 B
输出 shape[1, 50, 55] bf16
加载耗时35.7 s

判定标准:

检查项预期不通过的典型表现
均值延迟≈ 3150 ms明显偏慢 → 确认 ASCEND_LAUNCH_BLOCKING=1
HBM≈ 11.9 GiB异常 → 检查是否单 chip 运行
输出 shape[1, 50, 55] bf16不符 → 检查 chunk_size 与 action_dim

参考链接

  • LingBot-VLA 2.0 GitHub
  • LingBot-VLA 2.0 GitCode 镜像
  • LingBot-VLA 2.0 模型权重
  • Qwen3-VL-4B-Instruct
  • 昇腾 PyTorch 训练环境准备