jsjs1258/rdt-1b-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

RDT-1B NPU Adaptation

  • 模型: robotics-diffusion-transformer/rdt-1b (revision eb09036cc64ca4945051acbd1bd581d30a1d7711)
  • 任务类型: Vision-Language-Action (VLA) 机器人操作 - 语言+多视角RGB+proprioception → 连续动作块
  • 路由: manipulation-vla
  • 硬件: 单卡 Ascend 910B (Ascend910_9362), npu:0, 64GB HBM

观测与动作契约

  • 输入:
    • lang_tokens: (1, 77, 4096) T5-XXL 语言嵌入 (示例使用随机嵌入演示;真实部署可加载 google/t5-v1_1-xxl 编码)
    • img_tokens: (1, 4374, 1152) SigLIP 视觉 token (2帧历史 × 3相机 × 729 patches, 来自 google/siglip-so400m-patch14-384)
    • state_tokens: (1, 1, 128) 统一动作空间 proprio (含双臂14维+mask)
    • ctrl_freqs: [25] Hz
  • 输出: action_chunk (1, 64, 128) 统一空间连续动作,经 state_adaptor 反归一化可得 14 维关节动作
  • 采样: DDPM + DPMSolverMultistep, num_inference_timesteps=5, prediction_type=sample, 固定 seed 2024 的初始噪声以保证 CPU/NPU 一致性

真实结果 (NPU)

  • NPU 可用: torch.npu.is_available()=True, device_count=2, device_name=Ascend910_9362
  • 模型 device: npu:0, dtype float32
  • 输入 device: 全部浮点张量位于 npu:0
  • 输出 device: npu:0
  • 计时: 每次推理前后 torch.npu.synchronize()
  • 首轮编译: ~445ms, 预热后平均 ~242ms (10次测量: avg 242ms, min 238ms, max 243ms, p50 242ms)
  • 吞吐: ~264 actions/s, ~4.1 chunks/s (batch=1, horizon=64, action_dim=128)
  • 数值: mean 0.0165, max_abs 1.30, finite True, 首个动作 [0.049,0.284,0.331,-1.308,-0.115]

CPU-NPU 一致性

  • 共享: 权重 pytorch_model.bin (2.45GB, 618 tensors), 输入, 预处理, 采样器步数, 固定噪声 Tensor (seed 2024)
  • CPU 基线: 同权重在 CPU 上单步推理 ~110s
  • 对比对象: 去噪后的完整 action_chunk (8192 连续值)
  • 结果: max_abs 3.09e-06, tolerance atol=1e-4 rtol=1e-3 (FP32), PASS
  • 验证脚本: scripts/validate_policy_outputs.py --atol 1e-4 --rtol 1e-3

性能

  • 预热 3 次, 测量 10 次, 报告 avg/min/max/p50/p90/p95 与 actions/s, chunks/s
  • benchmark: scripts/benchmark_policy.py --latencies-ms latencies.json --items-per-call 64 --unit actions

环境限制

  • 需 CANN 8.5.1, torch 2.9.0+cpu, torch_npu 2.9.0, timm, diffusers
  • 显存: 模型 1.22B 参数 (~4.9GB FP32) + 条件适配器 + 显存峰值 <8GB, 单卡 64GB 满足
  • 视觉塔 (SigLIP) 与语言编码器 (T5-XXL) 未计入此 NPU 演示;本仓验证核心扩散策略在 npu:0 的真实推理,端到端可追加 SiglipVisionTower 于 NPU
  • 采样固定噪声以确保可比性;真实 rollout 需按机器人统一动作向量掩码过滤无效维度

运行

pip install -r requirements.txt
python inference.py

证据图

  • agent workflow
  • npu device call
  • model result