模型: lerobot/folding_latest (Pi05, revision a53a72876215dd19b3bf63fb5f4d7aa56387cf2a) — 双臂折衣 manipulation-VLA。
任务: 观测 → 连续动作块。官方 Pi0.5 使用 Paligemma gemma_2b 作为 VLM 主干 + gemma_300m 动作专家,flow matching 生成 horizon 30 的双臂动作序列。
路由: manipulation-vla (图像/状态/语言 → action_chunk)。
观测 (官方 config):
observation.images.left_wrist VISUAL [3,720,1280] → 预处理 resize 224x224, IDENTITY 归一化observation.images.right_wrist VISUAL [3,720,1280] → 224x224, IDENTITYobservation.images.base VISUAL [3,480,640] → 224x224, IDENTITYobservation.state STATE [16] → QUANTILES 归一化, 含左右臂 7+1 自由度 (right_joint_1..7, gripper, left_joint_1..7, gripper)task 文本指令, tokenizer google/paligemma-3b-pt-224 max_length 200, padding right动作:
action [30,16] 连续关节位置,顺序 right_joint_1.pos..left_gripper.pos,使用 QUANTILES 反归一化,relative actions (exclude gripper),clamp gripper 到 [-1,1]。输出 finite 检查、horizon 30、dim 16。采样:
num_inference_steps=10, chunk_size=30, n_action_steps=30, seed 固定,torch.npu.synchronize() 包围计时。python inference.py --device npu:0 --seed 0 --dtype bfloat16默认 python inference.py 从本地缓存加载并打印模型、revision、route、backend、device、dtype、输入摘要、动作统计、同步耗时与 PASS/FAIL。所有浮点输入与关键输出显式在 npu:0 上。
Ascend910_9362 (Ascend910), torch_npu 2.9.0.post1+gitee7ba04, torch 2.9.0+cpu, npu:0 可用, device_count=2, npu-smi 显示 HBM 64GB 可用left_wrist npu:0, right_wrist npu:0, base npu:0, state npu:0, input_ids npu:0, stacked_images npu:0, vision_param npu:0, state_param npu:0, sampler_noise npu:0action_chunk npu:0 [30,16] float32, finite true, 409.6 KB 动作内存max_abs=3.09e-06, tolerance 0.107 (atol 5e-3 rtol 5e-2 for bfloat16), passed=true, 480 values, 完全通过57.02 ms56.22 ms (min 56.04 max 57.02 p50 56.15 p90 57.02 p95 57.02)533.6 actions/s (30 horizon), 17.79 chunks/s共享本地快照 models--lerobot--folding_latest/snapshots/a53a7287、同一 batch 观测、同一 tokenizer 输入、同一 flow 噪声种子与调度器,唯一差异为 device (cpu vs npu:0)。验证 validate_policy_outputs.py --atol 5e-3 --rtol 5e-2 通过,证明端到端 NPU 流水与 CPU 数值等价(bfloat16 阈值内)。
torch, torch_npu, transformers, lerobot, huggingface_hub, safetensors, accelerate, numpy, PillowHF_ENDPOINT=https://hf-mirror.com 自动走镜像,禁止手动覆盖代理变量assets/agent_workflow.png — 侦察、资源检查、加载、NPU 推理、一致性与性能全流程日志assets/npu_device_call.png — npu-smi、NPU availability、device name、首参数/输入/输出 device 证明assets/model_result.png — 默认 python inference.py 的模型/路由/真实 action_chunk/同步耗时与 PASS/FAIL

权重来源 https://huggingface.co/lerobot/folding_latest 可通过 snapshot_download(repo_id="lerobot/folding_latest") 拉取,复现时保持相同 seed, dtype, flow steps 与图像预处理即可获得相同 shape 一致性。