机器人操作领域的 Vision-Language-Action 模型,给双腕相机看一眼 + 一句指令, 直接吐出接下来 0.8 秒两只手臂该动的轨迹。
这模型底子是 Qwen2.5-VL-7B,作者把它训成了 VLA:喂两张腕部相机的图(左手右手各一张, 384x384),再配一句"把苹果拿起来"这种话,它就能自回归地吐出 27 个离散动作 token, 用 RVQ 分词器解码后就是一条 24 步、每步 20 维的相对动作序列。20 维里前 10 维是右手 (位置 3 + 6D 旋转 + 夹爪开合),后 10 维是左手,跟 UMI 数据集的约定完全一致。
主要参数:7B 级别、bf16 权重约 16.6GB(分成 4 个 safetensors)、注意力是 GQA、 视觉部分用了个 32 层的 ViT 当编码器。
权重从 HF 的 robotics-diffusion-transformer/RDT2-VQ 仓库拉下来,部署时进程大概占 16.9GB 显存。这个环境之前跑过不少模型,卡上还有别的窗口在占着,所以用的是 npu:0 空闲的那块。
pip install -r requirements.txt
# 权重放到 /data/models/RDT2-VQ,代码放哪都行
RDT2_DEVICE=npu:0 nohup python3 inference.py --port 8014 --device npu:0 \
> /tmp/rdt2_serve.log 2>&1 &
curl -s http://127.0.0.1:8014/health # 看到 status: ok 就成了有个小坑:模型直接 .to(device) 整搬会 OOM(torch_npu 分配碎片化),所以代码里
改成逐模块挪到 NPU,冷启动大概 12~25 秒。RVQ 分词器能加载就加载,加载不了就降级
成只出 action token,骨干推理不受影响。
curl -s -X POST http://127.0.0.1:8014/predict \
-H 'Content-Type: application/json' \
-d '{"camera0_rgb":"<右臂图b64>","camera1_rgb":"<左臂图b64>","instruction":"Pick up the apple."}'返回里 action_ids 是 27 个原始 vocab id,action_tokens 是映射后的 RVQ code
(0~1023)。指令建议写成"动词+宾语+句号"这种格式,比如 "Place the cup on the table."
,模型对指令的区分度挺明显。
| 项 | 值 |
|---|---|
| 单次推理耗时 | 1.17~1.9s,平均约 1.2s |
| 串行吞吐 | 约 0.8 req/s |
| 并发压测 AICore 峰值 | 87% |
| 进程显存 | ~16.9GB |
数据是从单卡空载环境下压出来的,仅供参考。
拿两条指令分别跑了几遍,结果挺稳:
<|quad_end|> 正常收尾,code 都在 [0,1023]说明模型确实在按指令生成动作,不是随便吐的。另外提一嘴:官方 RVQ 分词器的 safetensors 里 rot/grip 的 codebook 数值有异常(绝对值偏大),所以连续动作重建 那一步没敢强上,服务这边做了容错——action token 这条主链路是完整可用的。
/data,那目录会不定时重置,吃过一次亏,权重全没了。--port 参数改一下,别杀别人的服务。