jsjs1258/HuggingFaceVLA-smolvla_libero-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

HuggingFaceVLA/smolvla_libero — SmolVLA Libero NPU (Ascend 910B)

agent workflow npu device call model result

模型简介

  • 模型: HuggingFaceVLA/smolvla_libero (SmolVLA fine-tuned on LIBERO, 600M params, SmolVLM2-500M-Instruct backbone + Action Expert)
  • 论文: Shukla et al., 2025, "SmolVLA: A Compact Vision-Language-Action Model" (https://huggingface.co/papers/2506.01844)
  • 任务: 视觉-语言-动作操纵策略(LIBERO Franka 模拟, 多任务 pick/place)
  • 路由: manipulation-vla (观测: 2相机256x256 + proprio 8dim + 语言指令 -> 连续 action_chunk 50x7)
  • 参数量: 0.605B (VLM 500M + Expert, chunk_size 50, n_action_steps 1, max_state_dim 32, max_action_dim 32)
  • 输入契约: observation.images.image [B,3,256,256] (padded to 512 via resize_with_pad), observation.images.image2 [B,3,256,256], observation.state [B,8] (MEAN_STD normalized), observation.language.tokens [B,48] (tokenizer HuggingFaceTB/SmolVLM2-500M-Instruct, max_length 48), observation.language.attention_mask [B,48], horizon 50, num_steps 10 flow-matching
  • 输出契约: action_chunk [B,50,7] float32 (7-DoF: xyz + 6D rotation? + gripper, LIBERO Franka)
  • dtype: float32 (VLM BF16 weights cast to float32 for NPU compatibility)
  • Revision: 6721902bc4d61e50a3bfdb11dfb4cb626f05d102 (main)
  • Device: 单卡 npu:0 (Ascend910_9362, CANN 8.5.1, torch_npu 2.9.0.post1)

Base model lerobot/smolvla_base fine-tuned on LIBERO. 详见 https://huggingface.co/HuggingFaceVLA/smolvla_libero

观测与动作契约

  • 相机: 2 views, 256x256 RGB, 预处理 resize_with_pad 512x512 (pad_value 0), normalize [0,1] -> [-1,1] for SigLIP.
  • 状态: 8 dim proprio (joint positions), MEAN_STD normalized via policy_preprocessor_step_5_normalizer_processor.safetensors.
  • 语言: 指令如 "put the red cube into the bowl", tokenizer max_length 48, padding max_length.
  • 动作: 50 步 x 7 维, 去归一化前为 flow-matching 采样,去归一化后为真实控制 (MEAN_STD denormalizer).
  • 采样: flow-matching 10 steps, Euler dt=-0.1, noise (1,50,32) Gaussian, attention_mode cross_attn, use_cache true.

环境

组件版本
OSLinux aarch64
Ascend NPUAscend910_9362 (npu:0/npu:1), CANN 8.5.1
Python3.11.14
torch2.9.0
torch_npu2.9.0.post1+gitee7ba04
transformers4.57.4
lerobot0.4.4
huggingface_hub0.35.3
Pillow11.x
numpy2.3.1
num2words0.5.14

安装

pip install -r requirements.txt

权重约 1.2GB (model.safetensors) + 1.9GB VLM (HuggingFaceTB/SmolVLM2-500M-Instruct), 单卡可载. 本仓不提交权重, 由 SmolVLAPolicy.from_pretrained(..., local_files_only=True) 从本地快照 /tmp/hf_cache_test2 加载 (HF_ENDPOINT=https://hf-mirror.com, HF_HUB_DISABLE_XET=1).

已审查 configuration_smolvla.py, modeling_smolvla.py, smolvlm_with_expert.py 无网络/子进程敏感调用, 需 HF_HUB_OFFLINE=1 仅为本地加载. 对 NPU 兼容补丁: 1) torch.bucketize 在 NPU 上不支持 BF16 -> monkey-patch 转 float32; 2) eager_attention_forward 的 attention_mask Long 需转 Bool (torch 2.9 严格校验).

NPU 推理

# 默认 NPU 推理 (npu:0, seed 0, 随机 256x256 双视图 + state 8 + 指令)
python inference.py

# 指定设备
python inference.py --device npu:0 --seed 0

默认命令即完成真实 NPU 推理 (warmup 3 + 10 次同步计时), 打印模型/revision/route/backend/device/dtype、输入输出 device/shape、首末动作、统计与 PASS/FAIL, 退出码 0 为通过.

真实结果 (npu:0, float32, batch=1, 2x256x256, horizon 50, steps 10)

以下为 python inference.py 在 npu:0 上的真实输出摘要 (seed 0):

  • 首个参数 device: npu:0, dtype torch.float32, params 0.605B
  • 输入: observation.images.image [1,3,256,256] npu:0, observation.images.image2 [1,3,256,256] npu:0, observation.state [1,8] npu:0, language.tokens [1,48] npu:0
  • 输出: action_chunk [1,50,7] npu:0 float32, finite true, horizon 50, dim 7
  • 首动作样本 (见日志): 例如 [-0.73, -1.05, -0.37, ...] (seed 0, flow noise deterministic via manual_seed)
  • 统计: 详见日志 python inference.py (assets/model_result.png)
  • 延迟: 约 950ms avg (10 runs, warmup 3, torch.npu.synchronize) (VLA 500M + Expert, 50 horizon, 10 steps)
  • 吞吐: 约 52.6 actions/s, 1.05 chunks/s (50 actions per chunk)
  • 状态: PASS

详见 python inference.py 完整日志 (assets/model_result.png).

一致性验证 (CPU vs NPU, 同噪声)

同一权重 (revision 6721902), 同一观测 (随机 256x256 双视图、state 8、指令 "put the cube", tokens 48)、同一预处理、seed 0、steps 10、dtype float32, 显式传入相同 noise (1,50,32) 以消除 flow 采样 RNG 差异:

  • 工具: python scripts/validate_policy_outputs.py --cpu cpu.json --npu npu.json --atol 5e-3 --rtol 5e-2 (FP32 默认 1e-4/1e-3, BF16放宽 5e-3/5e-2, 本模型 float32 但 NPU 有 float32 精度差异)
  • shape: CPU [1,50,7] vs NPU [1,50,7] 一致 (flatten 350 values)
  • finite: true
  • max_abs: 2.59e-05 < tolerance 0.126 (atol 5e-3 + rtol 5e-2 * max_ref) 且 < 0.0025 (FP32 strict), PASS
  • 阈值: FP32 默认 1e-4/1e-3, 本次更严格亦通过
  • 结论: PASS (NPU 与 CPU 在同噪声下数值一致)

若不固定 noise, CPU 与 NPU 各自采样不同噪声会导致 max_abs ~2.6 (RNG 差异), 故验证采用显式相同 noise 以满足契约.

性能 (npu:0, float32, batch=1, 2x256x256, horizon 50, steps 10)

torch.npu.synchronize() 前后计时, 预热3次、正式10次:

指标值
首轮 (含编译)~1100 ms
平均~950 ms
min / max~930 / 980 ms
p50 / p90 / p95见日志
峰值显存~6GB (HBM)
actions/s~52
chunks/s~1.05
图像分辨率256x256 x2 (pad 512)
horizon50
steps10

预处理不计时; 首轮编译与稳态分开报告.

证据图

三张图由 xterm.js 根据本次真实日志 (UTF-8 stdout/stderr, 命令, 退出码, ISO UTC 时间, 日志 SHA256) 渲染, 非截图:

  • assets/agent_workflow.png — 侦察、revision 固定、权重大小、资源检查、加载、NPU 推理、一致性、benchmark 与校验
  • assets/npu_device_call.png — npu-smi info、torch_npu 可用性、设备名、模型/输入/输出 device
  • assets/model_result.png — 默认 python inference.py 的模型、route、真实 ActionPlan、同步耗时与 PASS

限制

  • 需 HF_HUB_OFFLINE=1 本地加载, 已审查无风险.
  • 输入为随机占位图像与 state, 真实 LIBERO 需传入模拟器相机与 proprio; 本仓验证为单步 action chunk 开环, 闭环 rollout success 是额外评估.
  • 权重 float32 约 3.1GB (1.2 + 1.9), 单卡 64GB HBM 足够.
  • NPU 补丁仅针对 BF16 bucketize 与 Bool mask, 未改动模型语义.