f
fbybl/RDT2-VQ
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

RDT2-VQ on Ascend NPU

机器人操作领域的 Vision-Language-Action 模型,给双腕相机看一眼 + 一句指令, 直接吐出接下来 0.8 秒两只手臂该动的轨迹。

简介

这模型底子是 Qwen2.5-VL-7B,作者把它训成了 VLA:喂两张腕部相机的图(左手右手各一张, 384x384),再配一句"把苹果拿起来"这种话,它就能自回归地吐出 27 个离散动作 token, 用 RVQ 分词器解码后就是一条 24 步、每步 20 维的相对动作序列。20 维里前 10 维是右手 (位置 3 + 6D 旋转 + 夹爪开合),后 10 维是左手,跟 UMI 数据集的约定完全一致。

主要参数:7B 级别、bf16 权重约 16.6GB(分成 4 个 safetensors)、注意力是 GQA、 视觉部分用了个 32 层的 ViT 当编码器。

验证环境

  • 昇腾 910B 单卡,64GB HBM
  • CANN 8.5.1 + torch-npu 2.9.0.post1
  • torch 2.9.0 / transformers 4.57.6
  • Python 3.11

权重从 HF 的 robotics-diffusion-transformer/RDT2-VQ 仓库拉下来,部署时进程大概占 16.9GB 显存。这个环境之前跑过不少模型,卡上还有别的窗口在占着,所以用的是 npu:0 空闲的那块。

服务启动

pip install -r requirements.txt

# 权重放到 /data/models/RDT2-VQ,代码放哪都行
RDT2_DEVICE=npu:0 nohup python3 inference.py --port 8014 --device npu:0 \
  > /tmp/rdt2_serve.log 2>&1 &

curl -s http://127.0.0.1:8014/health   # 看到 status: ok 就成了

有个小坑:模型直接 .to(device) 整搬会 OOM(torch_npu 分配碎片化),所以代码里 改成逐模块挪到 NPU,冷启动大概 12~25 秒。RVQ 分词器能加载就加载,加载不了就降级 成只出 action token,骨干推理不受影响。

Smoke 验证

curl -s -X POST http://127.0.0.1:8014/predict \
  -H 'Content-Type: application/json' \
  -d '{"camera0_rgb":"<右臂图b64>","camera1_rgb":"<左臂图b64>","instruction":"Pick up the apple."}'

返回里 action_ids 是 27 个原始 vocab id,action_tokens 是映射后的 RVQ code (0~1023)。指令建议写成"动词+宾语+句号"这种格式,比如 "Place the cup on the table." ,模型对指令的区分度挺明显。

性能参考

项值
单次推理耗时1.17~1.9s,平均约 1.2s
串行吞吐约 0.8 req/s
并发压测 AICore 峰值87%
进程显存~16.9GB

数据是从单卡空载环境下压出来的,仅供参考。

精度测评

拿两条指令分别跑了几遍,结果挺稳:

  1. "Pick up the apple." → token 以 <|quad_end|> 正常收尾,code 都在 [0,1023]
  2. "Place the cup on the table." → 同样的结构,但 token 序列明显不一样

说明模型确实在按指令生成动作,不是随便吐的。另外提一嘴:官方 RVQ 分词器的 safetensors 里 rot/grip 的 codebook 数值有异常(绝对值偏大),所以连续动作重建 那一步没敢强上,服务这边做了容错——action token 这条主链路是完整可用的。

注意事项

  • 代码和数据都别放 /data,那目录会不定时重置,吃过一次亏,权重全没了。
  • 图像会先缩到 384x384 再 JPEG 压缩,跟训练分布对齐,别省这一步。
  • camera0 是右臂、camera1 是左臂,代码内部会交换成左-右顺序。
  • 采样温度设了 1e-6,基本是贪婪,输出可复现。
  • 端口冲突就换,--port 参数改一下,别杀别人的服务。
  • 上真机前记得标定相机和机械臂,限位和安全锁一定要开。

链接

  • 主页:https://rdt-robotics.github.io/rdt2/
  • 代码:https://github.com/thu-ml/RDT2