RDT 二代(RDT2-VQ):一个基于 Qwen2.5-VL-7B 的扩散策略(Diffusion Policy)模型,从双目腕部相机 RGB 观测与自然语言指令预测短时域相对动作序列(24 步 × 20 维,UMI 约定)。
本仓库将其 Qwen2.5-VL-7B 主干 适配到 华为昇腾 Ascend NPU(torch_npu 2.9.0.post1 + transformers 4.57.6),并提供 inference.py 在 NPU 与 CPU 上分别推理、对比精度与耗时。
camera0_rgb(右手腕)+ camera1_rgb(左手腕)双路 384×384 RGB 图像 + 自然语言指令RDT2-VQ 的 HF 权重 仅包含 Qwen2.5-VL-7B 主干(729 个权重 key 全部为 VLM 参数)。完整的 action chunk 解码(VQ action tokenizer、扩散策略 head、动作归一化)位于 RDT2 GitHub 仓库(utils.batch_predict_action、MultiVQVAE)与外部 RVQActionTokenizer / LinearNormalizer 权重中,本容器内 GitHub 与相关权重源不可达。
因此 inference.py 以合成双相机观测 + 指令做 teacher-forcing 前向,对比 VLM 主干 logits 在 CPU/NPU 上的一致性(cos_sim / max_abs_err / mean_abs_err / 耗时)——这是整个 RDT2-VQ 推理链中 VLM 主干部分的精度验证。
# 1. 安装依赖(Python 3.11,需已安装 CANN / torch_npu 2.9.0.post1)
pip install -r requirements.txt
# 2. 下载权重(若尚未下载,含 4 个 shard)
mkdir -p models
HF_ENDPOINT=https://hf-mirror.com HF_HUB_DOWNLOAD_TIMEOUT=120 python -c \
"from huggingface_hub import snapshot_download; \
snapshot_download('robotics-diffusion-transformer/RDT2-VQ', local_dir='models')"# CPU 推理(bf16,作为精度参照,保存 results/cpu_logits.npy)
python inference.py --device cpu
# NPU 推理(bf16,自动与 CPU 结果对比 cos_sim / max_abs_err / mean_abs_err)
python inference.py --device npu脚本合成确定性双相机观测图像(384×384,模拟桌面场景)+ 指令 "Pick up the apple.",teacher-forcing 前向取 logits。
示例输出(NPU,Ascend 910):
torch 2.9.0+cpu
torch_npu 2.9.0.post1+gitee7ba04
torch.npu.is_available(): True
torch.npu.device_count(): 2
[npu] obs: camera0+camera1 (384x384), instruction: 'Pick up the apple.'
[npu] input tokens: 430
[npu] logits shape: [1, 430, 152064]
[npu] mean forward latency: 200.82 ms (2 repeats)
[compare] npu vs cpu:
cos_sim = 0.980025
max_abs_err = 57.000000
mean_abs_err = 7.253665| 指标 | CPU (bf16) | NPU (bf16) | 差异 |
|---|---|---|---|
| cos_sim | 1.0 | 0.980025 | 高度一致 |
| max_abs_err | — | 57.000000 | logits 量纲大,相对极小 |
| mean_abs_err | — | 7.253665 | 极小 |
| 单次前向耗时 | 约 110000 ms | 200.82 ms | NPU 快约 500× |
对比基于完全相同的合成双相机观测与指令(teacher-forcing logits
[1, 430, 152064],约 6500 万元素)。Qwen2.5-VL 在昇腾 NPU 上 fp16 前向会产生 NaN logits(实测),故采用 bf16(与模型原始权重精度一致)。
.
├── inference.py # NPU/CPU 推理与精度对比脚本
├── requirements.txt # 依赖清单
├── readme.md # 本文档
└── assets/ # 运行截图