anning-2026/rdt-1b
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

robotics-diffusion-transformer/rdt-1b 昇腾 NPU 部署文档

1. 模型简介

模型名称: robotics-diffusion-transformer/rdt-1b(RDT-1B) 模型链接: https://huggingface.co/robotics-diffusion-transformer/rdt-1b 模型描述: 清华 TSAIL 团队开源的机器人操作扩散基础模型(强化学习/模仿学习范畴)。给定语言指令与最多三视角 RGB 图像,预测未来 64 步 × 128 维机器人动作块,兼容单臂/双臂、关节/末端执行器(EEF)等各类移动操作臂。在 100 万+ 多机器人片段上预训练。 模型架构: RDT(Robotics Diffusion Transformer,DiT 结构:28 层、hidden 2048、32 头,ALiBi 注意力;语言/图像/状态三路条件适配器 + DPM-Solver 扩散采样) 参数规模: ~1228.3M(fp32 存储,单分片 pytorch_model.bin 2,456,755,578 bytes,sha256 校验与 LFS oid 一致) 适配引擎: torch_npu(昇腾 NPU 推理引擎)

标签集合: robotics / vla / diffusion-policy / reinforcement-learning / imitation-learning / robot-manipulation / NPU / Ascend / torch_npu / model-agent-tagged

2. 环境依赖

依赖项版本说明
torch2.9.0
torch_npu2.9.0.post1昇腾 NPU 推理引擎
transformers4.46.3
diffusers0.31.0DDPMScheduler / DPMSolverMultistepScheduler
timm1.0.11官方 rdt blocks 依赖(Attention/Mlp/RmsNorm)
fastapi / uvicorn / pydantic-服务化推理(server.py)

注:RDT 未集成进 transformers,本仓库 vendor 了官方 models/rdt/{model,blocks}.py 与简化版 rdt_runner.py(移除 Hub Mixin),权重加载与官方 RDTRunner.from_pretrained 状态字典完全一致(0 missing / 0 unexpected keys)。完整 VLA 链路的语言编码器为 T5-v1.1-XXL、视觉编码器为 SigLIP-so400m-patch14-384。

3. 推理步骤

# 内置演示条件(默认 npu:0)
python inference.py --device npu:0

# 指定语言指令与本体状态向量
python inference.py --instruction "pick up the cup" \
    --state 0.1,0.2,-0.3 --device npu:0

# 纯 CPU 推理(对比验证)
python inference.py --device cpu

推理流程:config.json 构建 RDTRunner → 加载 pytorch_model.bin → 语言/图像/状态 token 经 MLP 适配器映射到 hidden 2048 → 噪声动作 (64×128) 经 5 步 DPM-Solver 迭代去噪 → 输出动作块 (B, 64, 128)。

4. 测试样例及输出结果

以下输出为在昇腾 Ascend 910B4(CANN 8.5.1 + torch_npu 2.9.0.post1 + diffusers 0.31.0)上实测获得。

样例 1:动作块预测(5 步 DPM-Solver 采样)

命令:

python inference.py --instruction "pick up the cup on the table" --device npu:0

输出:

[加载] 完成: RDTRunner (1228.3M params),耗时 32.57s
[指令] pick up the cup on the table
[条件] lang_tokens (1, 16, 4096), img_tokens (1, 4374, 1152), state (1, 1, 128)
[结果] 动作序列 shape: (1, 64, 128)(未来 64 步 x 128 维)
  前3步前8维: [[-0.0815, 0.4278, 0.4299, -1.5995, ...], ...]
  统计: mean=0.0130, std=0.2088
[耗时] 0.63s(5 步 DPM-Solver 采样)

结果说明:权重状态字典与官方结构严格匹配(0 missing / 0 unexpected);采样输出动作块相邻步之间变化平滑(如前 3 步第 1 维 -0.0815 → -0.0864 → -0.0889),符合扩散策略的时序连续性特征;进程内稳态耗时 0.33s/次,验证了 RDT-1B 扩散主干在昇腾 NPU 上 1228M 参数的推理链路通畅。

5. Agent 适配截图

Agent 适配流程 NPU 设备调用 模型适配结果

6. 服务化推理

python server.py --port 8000 --device npu:0

接口:

  • GET /health → {"status":"ok","model":"robotics-diffusion-transformer/rdt-1b","device":"npu:0","loaded":true}
  • POST /predict_action(JSON:{"instruction":"open the drawer","state":[0.1,0.2,-0.3]})→ 动作块摘要

实测(服务化):

  • /health → {"status":"ok","model":"robotics-diffusion-transformer/rdt-1b","device":"npu:0","loaded":true}
  • /predict_action → {"action_shape":[1,64,128],"first_steps_first_dims":[[-0.1235,...]],"mean":0.011567,"std":0.19937,"elapsed_s":0.304}

7. 注意事项

  • 模型权重位于 /tmp/rdt-1b/(2,456,755,578 bytes,sha256 校验通过),不占用仓库空间,不纳入本仓库
  • 条件输入说明——完整 VLA 推理需要 T5-v1.1-XXL(语言 token 4096 维)与 SigLIP-so400m(图像 token 1152 维、4374 token=2×3 视角×729 patch)编码器;二者体积巨大未随仓库部署,inference.py 默认使用随机合成 token 走通 NPU 采样链路,可通过 --lang-tokens/--img-tokens 传入真实编码 .pt 文件获得语义化动作输出
  • 动作语义——128 维动作空间按官方约定分段映射不同本体(单臂/双臂关节或 EEF),实际部署需按机器人形态配置 action_mask 屏蔽无效维度
  • 首次加载——1228M 参数构建与权重载入约 32s,属正常现象;首帧采样含算子编译预热约 0.6s
  • 大文件务必校验 sha256 与 LFS oid 一致,避免下载损坏导致输出异常