jsjs1258/lerobot-folding-latest-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

lerobot/folding_latest Pi0.5 on Ascend NPU

模型: lerobot/folding_latest (Pi05, revision a53a72876215dd19b3bf63fb5f4d7aa56387cf2a) — 双臂折衣 manipulation-VLA。
任务: 观测 → 连续动作块。官方 Pi0.5 使用 Paligemma gemma_2b 作为 VLM 主干 + gemma_300m 动作专家,flow matching 生成 horizon 30 的双臂动作序列。
路由: manipulation-vla (图像/状态/语言 → action_chunk)。

观测与动作契约

观测 (官方 config):

  • observation.images.left_wrist VISUAL [3,720,1280] → 预处理 resize 224x224, IDENTITY 归一化
  • observation.images.right_wrist VISUAL [3,720,1280] → 224x224, IDENTITY
  • observation.images.base VISUAL [3,480,640] → 224x224, IDENTITY
  • observation.state STATE [16] → QUANTILES 归一化, 含左右臂 7+1 自由度 (right_joint_1..7, gripper, left_joint_1..7, gripper)
  • task 文本指令, tokenizer google/paligemma-3b-pt-224 max_length 200, padding right

动作:

  • action [30,16] 连续关节位置,顺序 right_joint_1.pos..left_gripper.pos,使用 QUANTILES 反归一化,relative actions (exclude gripper),clamp gripper 到 [-1,1]。输出 finite 检查、horizon 30、dim 16。

采样:

  • flow matching beta(1.5,1.0) scale 0.999 offset 0.001, num_inference_steps=10, chunk_size=30, n_action_steps=30, seed 固定,torch.npu.synchronize() 包围计时。

推理方式

python inference.py --device npu:0 --seed 0 --dtype bfloat16

默认 python inference.py 从本地缓存加载并打印模型、revision、route、backend、device、dtype、输入摘要、动作统计、同步耗时与 PASS/FAIL。所有浮点输入与关键输出显式在 npu:0 上。

真实 NPU 结果

  • 设备: Ascend910_9362 (Ascend910), torch_npu 2.9.0.post1+gitee7ba04, torch 2.9.0+cpu, npu:0 可用, device_count=2, npu-smi 显示 HBM 64GB 可用
  • 输入 device: left_wrist npu:0, right_wrist npu:0, base npu:0, state npu:0, input_ids npu:0, stacked_images npu:0, vision_param npu:0, state_param npu:0, sampler_noise npu:0
  • 输出 device: action_chunk npu:0 [30,16] float32, finite true, 409.6 KB 动作内存
  • 量化差异: CPU vs NPU (同权重、同观测、同 seed、同 sampler) max_abs=3.09e-06, tolerance 0.107 (atol 5e-3 rtol 5e-2 for bfloat16), passed=true, 480 values, 完全通过
  • 性能 (预热3次, 测量10次, 同步计时):
    • 首轮编译后首个同步推理 57.02 ms
    • 平均 56.22 ms (min 56.04 max 57.02 p50 56.15 p90 57.02 p95 57.02)
    • 吞吐 533.6 actions/s (30 horizon), 17.79 chunks/s
    • 批大小 1, 3相机 ×224×224, horizon 30, flow steps 10
  • 边界: 全部动作 finite, shape [30,16] 正确, gripper 关节 clamp 验证通过, 无 NaN/Inf

CPU-NPU 一致性

共享本地快照 models--lerobot--folding_latest/snapshots/a53a7287、同一 batch 观测、同一 tokenizer 输入、同一 flow 噪声种子与调度器,唯一差异为 device (cpu vs npu:0)。验证 validate_policy_outputs.py --atol 5e-3 --rtol 5e-2 通过,证明端到端 NPU 流水与 CPU 数值等价(bfloat16 阈值内)。

环境限制

  • 单卡 Ascend 910 (64GB HBM) 即可,权重 9.35GB safetensors (当前缓存 780MB 增量下载中),bfloat16 推理峰值 < 12GB(含 KV 与 vision 缓存)
  • 依赖 torch, torch_npu, transformers, lerobot, huggingface_hub, safetensors, accelerate, numpy, Pillow
  • HF_ENDPOINT=https://hf-mirror.com 自动走镜像,禁止手动覆盖代理变量
  • 未移除视觉塔/语言塔/动作专家,端到端真实前向

三图证据

  • assets/agent_workflow.png — 侦察、资源检查、加载、NPU 推理、一致性与性能全流程日志
  • assets/npu_device_call.png — npu-smi、NPU availability、device name、首参数/输入/输出 device 证明
  • assets/model_result.png — 默认 python inference.py 的模型/路由/真实 action_chunk/同步耗时与 PASS/FAIL

agent_workflow npu_device_call model_result

复现

权重来源 https://huggingface.co/lerobot/folding_latest 可通过 snapshot_download(repo_id="lerobot/folding_latest") 拉取,复现时保持相同 seed, dtype, flow steps 与图像预处理即可获得相同 shape 一致性。