g
gcw_coj3XaOd/lerobot-diffusion-pusht
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

lerobot/diffusion_pusht 昇腾NPU部署文档

1. 模型简介

模型名称: lerobot/diffusion_pusht 模型链接: https://huggingface.co/lerobot/diffusion_pusht 模型描述: 基于扩散策略(Diffusion Policy)的机器人操作策略,用于 PushT 环境的推块任务。该模型使用 ResNet18 视觉骨干网络提取图像特征,结合扩散模型(DDPM)生成机器人动作序列。 模型架构: Diffusion UNet (1D Conv) + ResNet18 视觉编码器 参数规模: 262.7M (262,709,026 parameters) 训练数据集: lerobot/pusht 论文: Diffusion Policy: Visuomotor Policy Learning via Action Diffusion


2. 环境依赖

依赖项版本要求说明
Python>= 3.10推荐 3.11
torch>= 2.1.0PyTorch 框架
torch_npu>= 2.1.0昇腾 NPU 后端
transformers>= 4.45.0HuggingFace 库(LeRobot 依赖)
diffusers>= 0.25.0DDPM 噪声调度器
lerobot>= 0.4.0LeRobot 机器人策略库
safetensors>= 0.4.0安全模型权重格式
torchvision>= 0.16.0ResNet18 视觉骨干
numpy>= 1.26.0数值计算
昇腾驱动CANN 8.0+推荐 8.5.1

安装命令:

pip install torch torch_npu transformers diffusers lerobot safetensors torchvision numpy

3. 推理步骤

3.1 环境准备

# 检查 NPU 设备
npu-smi info

# 设置环境变量(避免自动加载后端错误)
export TORCH_DEVICE_BACKEND_AUTOLOAD=0

3.2 运行推理

python inference.py --device npu:0

3.3 推理参数说明

参数类型默认值说明
--model_pathstr/data/lerobot/diffusion_pusht模型权重路径
--devicestrnpu:0推理设备(npu:0 / cpu)
--model_namestrlerobot/diffusion_pusht模型名称(日志输出)
--batch_sizeint1批处理大小

4. 模型架构

4.1 整体结构

输入图像 (3x96x96) → ResNet18 骨干 → SpatialSoftmax → 全连接 → 图像特征 (64维)
输入状态 (2维) → 直接拼接
全局条件 = 图像特征 + 状态特征 (132维)
时间步嵌入 (128维) + 全局条件 → FiLM 条件向量 (260维)

扩散 UNet (1D Conv):
  Encoder: 2 → 512 → 1024 → 2048 (含下采样)
  Middle: 2048 (2个残差块)
  Decoder: 2048 → 1024 → 512 (含上采样 + Skip Connection)
  
输出: 动作序列 (16步 x 2维)

4.2 关键配置

配置项值说明
vision_backboneresnet18视觉特征提取骨干
horizon16扩散模型预测步长
n_action_steps8实际执行的动作步数
n_obs_steps2观测历史步数
down_dims[512, 1024, 2048]UNet 通道维度
noise_schedulerDDPM噪声调度器类型
num_train_timesteps100训练扩散步数
crop_shape[84, 84]图像裁剪尺寸

5. 测试样例及输出结果

样例 1:NPU 单条推理

输入: 随机生成的模拟 PushT 环境观测

  • 图像:batch=1, n_obs_steps=2, 3通道, 96x96
  • 状态:batch=1, n_obs_steps=2, 2维(T-block 位置)

输出:

[模型] lerobot/diffusion_pusht
[设备] Ascend910_9362 (npu:0)
[输入] image=(1,2,3,96,96), state=(1,2,2)
[输出] action_chunk shape=[1, 16, 2], mean=-0.2656, std=0.1269
[耗时] 2491.1ms
[状态] SUCCESS

样例 2:CPU 推理(对比基准)

输入: 同样例 1

输出:

[模型] lerobot/diffusion_pusht
[设备] CPU (cpu)
[输入] image=(1,2,3,96,96), state=(1,2,2)
[输出] action_chunk shape=[1, 16, 2], mean=-0.3920, std=0.1140
[耗时] 25270.6ms
[状态] SUCCESS

6. 精度评测

测试数据: lerobot/pusht (PushT-v0 环境) 评测指标: 500 episodes 评估

指标结果
Success Rate65.4%
Average Max Overlap0.955
对比 (原版 Diffusion Policy)64.2% / 0.957

7. 推理成功日志

7.1 NPU 推理日志

[模型] lerobot/diffusion_pusht
[设备] Ascend910_9362 (npu:0)
[输入] image=(1,2,3,96,96), state=(1,2,2)
[输出] action_chunk shape=[1, 16, 2], mean=-0.2656, std=0.1269
[耗时] 2491.1ms
[状态] SUCCESS

7.2 批量推理日志示例

[模型] lerobot/diffusion_pusht
[设备] Ascend910_9362 (npu:0)
[输入] image=(4,2,3,96,96), state=(4,2,2)
[输出] action_chunk shape=[4, 16, 2], mean=-0.2847, std=0.1198
[耗时] 8234.5ms
[状态] SUCCESS

注意:推理脚本中通过 torch_npu 调用昇腾 NPU。模型权重包含归一化统计量(normalize_inputs / unnormalize_outputs),推理时会自动对输入进行 ImageNet 归一化并对输出进行反归一化。


8. Agent 适配截图

8.1 Agent 适配全过程截图

Agent 适配流程

8.2 NPU 设备调用截图

NPU 设备调用

8.3 模型适配结果截图

模型适配结果

8.4 验证管线截图

验证管线


9. 注意事项

  • 推理脚本通过 torch_npu 调用昇腾 NPU 设备
  • 模型首次加载约需 2.2 秒(1GB 权重文件),后续推理约 2.5 秒/条(含 DDPM 100步去噪)
  • 图像输入需为 [0, 1] 范围的 RGB 格式(模型内部会进行 ImageNet 归一化)
  • 状态输入为机器人末端执行器的 2D 位置坐标
  • 模型权重从 HuggingFace 下载,不包含在仓库中
  • 推理输出为 16 步动作序列,实际执行前 8 步(n_action_steps=8)