2301_76761127/pi05_libero_base-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

lerobot/pi05_libero_base 昇腾 NPU 适配

π0.5 LIBERO 已在昇腾 910B NPU 上完成端到端推理验证。

模型简介

模型: lerobot/pi05_libero_base(镜像:https://ai.gitcode.com/hf_mirrors/lerobot/pi05_libero_base) 架构: PI05Policy(π0.5 架构,PaliGemma VLM + flow matching 动作专家) 参数量: 4.14B (bfloat16)

机器人视觉-语言-动作(VLA)策略模型,输入图像观测 + 状态 + 语言指令,输出动作 chunk。

环境

项版本
昇腾 910B432GB HBM
CANN9.1.0
torch / torch_npu2.12
transformers5.15
lerobot0.6.1

运行方法

pip install -r requirements.txt
python3 inference.py            # 默认加载 ~/models/lerobot/pi05_libero_base
python3 inference.py --seed N --task "pick up the block"

NPU 适配要点

  1. bf16 加载到 npu:2,PaliGemma VLM 编码图像 + 文本提示
  2. 合成双视角桌面场景(256×256)+ 8 维状态;10 步 flow matching 去噪生成 50 步动作 chunk
  3. 权重 strict 加载校验(missing/unexpected=0),反向归一化一致性检查
  4. 输出断言:chunk 形状/数值有限性/取值范围

验证结果

  • 峰值显存 8.89 GiB,推理耗时 0.97 s(权重加载 408.1 s)
  • 动作 chunk (1, 50, 7),mean=0.0295 std=0.4025
  • 指令:"pick up the block"(固定 seed=20260821 合成观测,自包含无需数据集)

输出说明

  • assets/npu_result.json:结构化验证记录
  • assets/agent_workflow.png / npu_device_call.png / model_result.png:运行截图