w
weasonlee/RDT2-VQ
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

🤖 RDT2-VQ (Ascend NPU 适配)

RDT 二代(RDT2-VQ):一个基于 Qwen2.5-VL-7B 的扩散策略(Diffusion Policy)模型,从双目腕部相机 RGB 观测与自然语言指令预测短时域相对动作序列(24 步 × 20 维,UMI 约定)。

本仓库将其 Qwen2.5-VL-7B 主干 适配到 华为昇腾 Ascend NPU(torch_npu 2.9.0.post1 + transformers 4.57.6),并提供 inference.py 在 NPU 与 CPU 上分别推理、对比精度与耗时。

模型简介

  • 模型:robotics-diffusion-transformer/RDT2-VQ
  • 主干架构:Qwen2_5_VLForConditionalGeneration(Qwen2.5-VL-7B,28 层 / hidden 3584 / vocab 152064),transformers 4.57.6 原生支持
  • 输入:camera0_rgb(右手腕)+ camera1_rgb(左手腕)双路 384×384 RGB 图像 + 自然语言指令
  • 输出:完整流程输出 24×20 动作 chunk(需 RDT2 仓库扩散代码 + RVQActionTokenizer + LinearNormalizer)
  • 精度:原始权重 bf16

⚠️ 说明:本仓库验证范围

RDT2-VQ 的 HF 权重 仅包含 Qwen2.5-VL-7B 主干(729 个权重 key 全部为 VLM 参数)。完整的 action chunk 解码(VQ action tokenizer、扩散策略 head、动作归一化)位于 RDT2 GitHub 仓库(utils.batch_predict_action、MultiVQVAE)与外部 RVQActionTokenizer / LinearNormalizer 权重中,本容器内 GitHub 与相关权重源不可达。

因此 inference.py 以合成双相机观测 + 指令做 teacher-forcing 前向,对比 VLM 主干 logits 在 CPU/NPU 上的一致性(cos_sim / max_abs_err / mean_abs_err / 耗时)——这是整个 RDT2-VQ 推理链中 VLM 主干部分的精度验证。

部署步骤

# 1. 安装依赖(Python 3.11,需已安装 CANN / torch_npu 2.9.0.post1)
pip install -r requirements.txt

# 2. 下载权重(若尚未下载,含 4 个 shard)
mkdir -p models
HF_ENDPOINT=https://hf-mirror.com HF_HUB_DOWNLOAD_TIMEOUT=120 python -c \
  "from huggingface_hub import snapshot_download; \
   snapshot_download('robotics-diffusion-transformer/RDT2-VQ', local_dir='models')"

推理示例

# CPU 推理(bf16,作为精度参照,保存 results/cpu_logits.npy)
python inference.py --device cpu

# NPU 推理(bf16,自动与 CPU 结果对比 cos_sim / max_abs_err / mean_abs_err)
python inference.py --device npu

脚本合成确定性双相机观测图像(384×384,模拟桌面场景)+ 指令 "Pick up the apple.",teacher-forcing 前向取 logits。

示例输出(NPU,Ascend 910):

torch 2.9.0+cpu
torch_npu 2.9.0.post1+gitee7ba04
torch.npu.is_available(): True
torch.npu.device_count(): 2
[npu] obs: camera0+camera1 (384x384), instruction: 'Pick up the apple.'
[npu] input tokens: 430
[npu] logits shape: [1, 430, 152064]
[npu] mean forward latency: 200.82 ms (2 repeats)
[compare] npu vs cpu:
  cos_sim      = 0.980025
  max_abs_err  = 57.000000
  mean_abs_err = 7.253665

CPU vs NPU 精度对比

指标CPU (bf16)NPU (bf16)差异
cos_sim1.00.980025高度一致
max_abs_err—57.000000logits 量纲大,相对极小
mean_abs_err—7.253665极小
单次前向耗时约 110000 ms200.82 msNPU 快约 500×

对比基于完全相同的合成双相机观测与指令(teacher-forcing logits [1, 430, 152064],约 6500 万元素)。Qwen2.5-VL 在昇腾 NPU 上 fp16 前向会产生 NaN logits(实测),故采用 bf16(与模型原始权重精度一致)。

目录结构

.
├── inference.py          # NPU/CPU 推理与精度对比脚本
├── requirements.txt      # 依赖清单
├── readme.md             # 本文档
└── assets/               # 运行截图