模型名称: robotics-diffusion-transformer/rdt-1b(RDT-1B)
模型链接: https://huggingface.co/robotics-diffusion-transformer/rdt-1b
模型描述: 清华 TSAIL 团队开源的机器人操作扩散基础模型(强化学习/模仿学习范畴)。给定语言指令与最多三视角 RGB 图像,预测未来 64 步 × 128 维机器人动作块,兼容单臂/双臂、关节/末端执行器(EEF)等各类移动操作臂。在 100 万+ 多机器人片段上预训练。
模型架构: RDT(Robotics Diffusion Transformer,DiT 结构:28 层、hidden 2048、32 头,ALiBi 注意力;语言/图像/状态三路条件适配器 + DPM-Solver 扩散采样)
参数规模: ~1228.3M(fp32 存储,单分片 pytorch_model.bin 2,456,755,578 bytes,sha256 校验与 LFS oid 一致)
适配引擎: torch_npu(昇腾 NPU 推理引擎)
标签集合: robotics / vla / diffusion-policy / reinforcement-learning / imitation-learning / robot-manipulation / NPU / Ascend / torch_npu / model-agent-tagged
| 依赖项 | 版本 | 说明 |
|---|---|---|
| torch | 2.9.0 | |
| torch_npu | 2.9.0.post1 | 昇腾 NPU 推理引擎 |
| transformers | 4.46.3 | |
| diffusers | 0.31.0 | DDPMScheduler / DPMSolverMultistepScheduler |
| timm | 1.0.11 | 官方 rdt blocks 依赖(Attention/Mlp/RmsNorm) |
| fastapi / uvicorn / pydantic | - | 服务化推理(server.py) |
注:RDT 未集成进 transformers,本仓库 vendor 了官方
models/rdt/{model,blocks}.py与简化版rdt_runner.py(移除 Hub Mixin),权重加载与官方RDTRunner.from_pretrained状态字典完全一致(0 missing / 0 unexpected keys)。完整 VLA 链路的语言编码器为 T5-v1.1-XXL、视觉编码器为 SigLIP-so400m-patch14-384。
# 内置演示条件(默认 npu:0)
python inference.py --device npu:0
# 指定语言指令与本体状态向量
python inference.py --instruction "pick up the cup" \
--state 0.1,0.2,-0.3 --device npu:0
# 纯 CPU 推理(对比验证)
python inference.py --device cpu推理流程:config.json 构建 RDTRunner → 加载 pytorch_model.bin → 语言/图像/状态 token 经 MLP 适配器映射到 hidden 2048 → 噪声动作 (64×128) 经 5 步 DPM-Solver 迭代去噪 → 输出动作块 (B, 64, 128)。
以下输出为在昇腾 Ascend 910B4(CANN 8.5.1 + torch_npu 2.9.0.post1 + diffusers 0.31.0)上实测获得。
命令:
python inference.py --instruction "pick up the cup on the table" --device npu:0输出:
[加载] 完成: RDTRunner (1228.3M params),耗时 32.57s
[指令] pick up the cup on the table
[条件] lang_tokens (1, 16, 4096), img_tokens (1, 4374, 1152), state (1, 1, 128)
[结果] 动作序列 shape: (1, 64, 128)(未来 64 步 x 128 维)
前3步前8维: [[-0.0815, 0.4278, 0.4299, -1.5995, ...], ...]
统计: mean=0.0130, std=0.2088
[耗时] 0.63s(5 步 DPM-Solver 采样)结果说明:权重状态字典与官方结构严格匹配(0 missing / 0 unexpected);采样输出动作块相邻步之间变化平滑(如前 3 步第 1 维 -0.0815 → -0.0864 → -0.0889),符合扩散策略的时序连续性特征;进程内稳态耗时 0.33s/次,验证了 RDT-1B 扩散主干在昇腾 NPU 上 1228M 参数的推理链路通畅。

python server.py --port 8000 --device npu:0接口:
GET /health → {"status":"ok","model":"robotics-diffusion-transformer/rdt-1b","device":"npu:0","loaded":true}POST /predict_action(JSON:{"instruction":"open the drawer","state":[0.1,0.2,-0.3]})→ 动作块摘要实测(服务化):
/health → {"status":"ok","model":"robotics-diffusion-transformer/rdt-1b","device":"npu:0","loaded":true}/predict_action → {"action_shape":[1,64,128],"first_steps_first_dims":[[-0.1235,...]],"mean":0.011567,"std":0.19937,"elapsed_s":0.304}/tmp/rdt-1b/(2,456,755,578 bytes,sha256 校验通过),不占用仓库空间,不纳入本仓库inference.py 默认使用随机合成 token 走通 NPU 采样链路,可通过 --lang-tokens/--img-tokens 传入真实编码 .pt 文件获得语义化动作输出action_mask 屏蔽无效维度