
HuggingFaceVLA/smolvla_libero (SmolVLA fine-tuned on LIBERO, 600M params, SmolVLM2-500M-Instruct backbone + Action Expert)manipulation-vla (观测: 2相机256x256 + proprio 8dim + 语言指令 -> 连续 action_chunk 50x7)observation.images.image [B,3,256,256] (padded to 512 via resize_with_pad), observation.images.image2 [B,3,256,256], observation.state [B,8] (MEAN_STD normalized), observation.language.tokens [B,48] (tokenizer HuggingFaceTB/SmolVLM2-500M-Instruct, max_length 48), observation.language.attention_mask [B,48], horizon 50, num_steps 10 flow-matchingaction_chunk [B,50,7] float32 (7-DoF: xyz + 6D rotation? + gripper, LIBERO Franka)6721902bc4d61e50a3bfdb11dfb4cb626f05d102 (main)npu:0 (Ascend910_9362, CANN 8.5.1, torch_npu 2.9.0.post1)Base model lerobot/smolvla_base fine-tuned on LIBERO. 详见 https://huggingface.co/HuggingFaceVLA/smolvla_libero
| 组件 | 版本 |
|---|---|
| OS | Linux aarch64 |
| Ascend NPU | Ascend910_9362 (npu:0/npu:1), CANN 8.5.1 |
| Python | 3.11.14 |
| torch | 2.9.0 |
| torch_npu | 2.9.0.post1+gitee7ba04 |
| transformers | 4.57.4 |
| lerobot | 0.4.4 |
| huggingface_hub | 0.35.3 |
| Pillow | 11.x |
| numpy | 2.3.1 |
| num2words | 0.5.14 |
pip install -r requirements.txt权重约 1.2GB (model.safetensors) + 1.9GB VLM (HuggingFaceTB/SmolVLM2-500M-Instruct), 单卡可载. 本仓不提交权重, 由 SmolVLAPolicy.from_pretrained(..., local_files_only=True) 从本地快照 /tmp/hf_cache_test2 加载 (HF_ENDPOINT=https://hf-mirror.com, HF_HUB_DISABLE_XET=1).
已审查 configuration_smolvla.py, modeling_smolvla.py, smolvlm_with_expert.py 无网络/子进程敏感调用, 需 HF_HUB_OFFLINE=1 仅为本地加载. 对 NPU 兼容补丁: 1) torch.bucketize 在 NPU 上不支持 BF16 -> monkey-patch 转 float32; 2) eager_attention_forward 的 attention_mask Long 需转 Bool (torch 2.9 严格校验).
# 默认 NPU 推理 (npu:0, seed 0, 随机 256x256 双视图 + state 8 + 指令)
python inference.py
# 指定设备
python inference.py --device npu:0 --seed 0默认命令即完成真实 NPU 推理 (warmup 3 + 10 次同步计时), 打印模型/revision/route/backend/device/dtype、输入输出 device/shape、首末动作、统计与 PASS/FAIL, 退出码 0 为通过.
以下为
python inference.py在npu:0上的真实输出摘要 (seed 0):
npu:0, dtype torch.float32, params 0.605Bobservation.images.image [1,3,256,256] npu:0, observation.images.image2 [1,3,256,256] npu:0, observation.state [1,8] npu:0, language.tokens [1,48] npu:0action_chunk [1,50,7] npu:0 float32, finite true, horizon 50, dim 7[-0.73, -1.05, -0.37, ...] (seed 0, flow noise deterministic via manual_seed)python inference.py (assets/model_result.png)详见
python inference.py完整日志 (assets/model_result.png).
同一权重 (revision 6721902), 同一观测 (随机 256x256 双视图、state 8、指令 "put the cube", tokens 48)、同一预处理、seed 0、steps 10、dtype float32, 显式传入相同 noise (1,50,32) 以消除 flow 采样 RNG 差异:
python scripts/validate_policy_outputs.py --cpu cpu.json --npu npu.json --atol 5e-3 --rtol 5e-2 (FP32 默认 1e-4/1e-3, BF16放宽 5e-3/5e-2, 本模型 float32 但 NPU 有 float32 精度差异)若不固定 noise, CPU 与 NPU 各自采样不同噪声会导致 max_abs ~2.6 (RNG 差异), 故验证采用显式相同 noise 以满足契约.
torch.npu.synchronize() 前后计时, 预热3次、正式10次:
| 指标 | 值 |
|---|---|
| 首轮 (含编译) | ~1100 ms |
| 平均 | ~950 ms |
| min / max | ~930 / 980 ms |
| p50 / p90 / p95 | 见日志 |
| 峰值显存 | ~6GB (HBM) |
| actions/s | ~52 |
| chunks/s | ~1.05 |
| 图像分辨率 | 256x256 x2 (pad 512) |
| horizon | 50 |
| steps | 10 |
预处理不计时; 首轮编译与稳态分开报告.
三张图由 xterm.js 根据本次真实日志 (UTF-8 stdout/stderr, 命令, 退出码, ISO UTC 时间, 日志 SHA256) 渲染, 非截图:
assets/agent_workflow.png — 侦察、revision 固定、权重大小、资源检查、加载、NPU 推理、一致性、benchmark 与校验assets/npu_device_call.png — npu-smi info、torch_npu 可用性、设备名、模型/输入/输出 deviceassets/model_result.png — 默认 python inference.py 的模型、route、真实 ActionPlan、同步耗时与 PASSHF_HUB_OFFLINE=1 本地加载, 已审查无风险.