模型名称: lerobot/diffusion_pusht 模型链接: https://huggingface.co/lerobot/diffusion_pusht 模型描述: 基于扩散策略(Diffusion Policy)的机器人操作策略,用于 PushT 环境的推块任务。该模型使用 ResNet18 视觉骨干网络提取图像特征,结合扩散模型(DDPM)生成机器人动作序列。 模型架构: Diffusion UNet (1D Conv) + ResNet18 视觉编码器 参数规模: 262.7M (262,709,026 parameters) 训练数据集: lerobot/pusht 论文: Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
| 依赖项 | 版本要求 | 说明 |
|---|---|---|
| Python | >= 3.10 | 推荐 3.11 |
| torch | >= 2.1.0 | PyTorch 框架 |
| torch_npu | >= 2.1.0 | 昇腾 NPU 后端 |
| transformers | >= 4.45.0 | HuggingFace 库(LeRobot 依赖) |
| diffusers | >= 0.25.0 | DDPM 噪声调度器 |
| lerobot | >= 0.4.0 | LeRobot 机器人策略库 |
| safetensors | >= 0.4.0 | 安全模型权重格式 |
| torchvision | >= 0.16.0 | ResNet18 视觉骨干 |
| numpy | >= 1.26.0 | 数值计算 |
| 昇腾驱动 | CANN 8.0+ | 推荐 8.5.1 |
安装命令:
pip install torch torch_npu transformers diffusers lerobot safetensors torchvision numpy# 检查 NPU 设备
npu-smi info
# 设置环境变量(避免自动加载后端错误)
export TORCH_DEVICE_BACKEND_AUTOLOAD=0python inference.py --device npu:0| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| --model_path | str | /data/lerobot/diffusion_pusht | 模型权重路径 |
| --device | str | npu:0 | 推理设备(npu:0 / cpu) |
| --model_name | str | lerobot/diffusion_pusht | 模型名称(日志输出) |
| --batch_size | int | 1 | 批处理大小 |
输入图像 (3x96x96) → ResNet18 骨干 → SpatialSoftmax → 全连接 → 图像特征 (64维)
输入状态 (2维) → 直接拼接
全局条件 = 图像特征 + 状态特征 (132维)
时间步嵌入 (128维) + 全局条件 → FiLM 条件向量 (260维)
扩散 UNet (1D Conv):
Encoder: 2 → 512 → 1024 → 2048 (含下采样)
Middle: 2048 (2个残差块)
Decoder: 2048 → 1024 → 512 (含上采样 + Skip Connection)
输出: 动作序列 (16步 x 2维)| 配置项 | 值 | 说明 |
|---|---|---|
| vision_backbone | resnet18 | 视觉特征提取骨干 |
| horizon | 16 | 扩散模型预测步长 |
| n_action_steps | 8 | 实际执行的动作步数 |
| n_obs_steps | 2 | 观测历史步数 |
| down_dims | [512, 1024, 2048] | UNet 通道维度 |
| noise_scheduler | DDPM | 噪声调度器类型 |
| num_train_timesteps | 100 | 训练扩散步数 |
| crop_shape | [84, 84] | 图像裁剪尺寸 |
输入: 随机生成的模拟 PushT 环境观测
输出:
[模型] lerobot/diffusion_pusht
[设备] Ascend910_9362 (npu:0)
[输入] image=(1,2,3,96,96), state=(1,2,2)
[输出] action_chunk shape=[1, 16, 2], mean=-0.2656, std=0.1269
[耗时] 2491.1ms
[状态] SUCCESS输入: 同样例 1
输出:
[模型] lerobot/diffusion_pusht
[设备] CPU (cpu)
[输入] image=(1,2,3,96,96), state=(1,2,2)
[输出] action_chunk shape=[1, 16, 2], mean=-0.3920, std=0.1140
[耗时] 25270.6ms
[状态] SUCCESS测试数据: lerobot/pusht (PushT-v0 环境) 评测指标: 500 episodes 评估
| 指标 | 结果 |
|---|---|
| Success Rate | 65.4% |
| Average Max Overlap | 0.955 |
| 对比 (原版 Diffusion Policy) | 64.2% / 0.957 |
[模型] lerobot/diffusion_pusht
[设备] Ascend910_9362 (npu:0)
[输入] image=(1,2,3,96,96), state=(1,2,2)
[输出] action_chunk shape=[1, 16, 2], mean=-0.2656, std=0.1269
[耗时] 2491.1ms
[状态] SUCCESS[模型] lerobot/diffusion_pusht
[设备] Ascend910_9362 (npu:0)
[输入] image=(4,2,3,96,96), state=(4,2,2)
[输出] action_chunk shape=[4, 16, 2], mean=-0.2847, std=0.1198
[耗时] 8234.5ms
[状态] SUCCESS注意:推理脚本中通过 torch_npu 调用昇腾 NPU。模型权重包含归一化统计量(normalize_inputs / unnormalize_outputs),推理时会自动对输入进行 ImageNet 归一化并对输出进行反归一化。




torch_npu 调用昇腾 NPU 设备