anikitakis/vla_so101_pick_n_place_full_expert 是 LeRobot SmolVLA(视觉-语言-动作)策略 (450M,3 相机,基于 HuggingFaceTB/SmolVLM2-500M-Video-Instruct 骨干), 输入 3 路相机图像 + 机器人状态 + 语言指令,输出动作轨迹。
本项目完成其在**华为昇腾 NPU(Ascend 910B)**上的推理适配与验证。
| 项目 | 说明 |
|---|---|
| 模型架构 | SmolVLAPolicy(SmolVLM2-500M-Video 骨干 + VLAFlowMatching 扩散头) |
| 参数量 | 450M |
| 输入 | 3 相机图像[1,3,480,640] + state[1,6] + 语言指令 |
| 输出 | action [B, act_dim=6](单步,扩散采样) |
| 权重格式 | model.safetensors(906MB)+ pre/postprocessor |
# lerobot 0.4.4 + VLM 骨干本地化(SmolVLM2-500M-Video-Instruct 17G)
/usr/local/python3.11.14/bin/pip install lerobot==0.4.4 json_numpy
# VLM 骨干(参考实现目录)
HF_ENDPOINT=https://hf-mirror.com HF_HUB_DISABLE_XET=1 python3 -c \
"from huggingface_hub import snapshot_download; snapshot_download('HuggingFaceTB/SmolVLM2-500M-Video-Instruct', local_dir='/tmp/ascend-weights/smolvlm2-500m-video')"cd /workspace/vla_so101
/usr/local/python3.11.14/bin/python3 inference.py \
--model_path /workspace/vla_so101_pick_n_place_full_expert_src \
--vlm_dir /tmp/ascend-weights/smolvlm2-500m-video --device npu:0| 参数 | 说明 | 默认值 |
|---|---|---|
--model_path | 权重目录 | /workspace/vla_so101_pick_n_place_full_expert_src |
--vlm_dir | VLM 骨干本地目录 | /tmp/ascend-weights/smolvlm2-500m-video |
--instruction | 语言指令 | put the annotated object in the box |
--device | 推理设备(npu:0 / cpu) | npu:0 |
--output | 输出动作 npy | stdout |
输入:3 相机图像 + state + 语言指令(确定性合成输入,参考实现方案)
[info] model loaded: SmolVLAPolicy (450.0M)
[info] 输入: 3相机图像[1,3,480,640] + state[1,6] + 语言指令
============================================================
[info] 输出动作形状: (1, 6)
[info] finite=True | 前5维: [...]
============================================================vla_so101 在 NPU 上完成动作预测(输出 (1,6)、全 finite), NPU 确定性前向链路完整跑通。
aclnnSearchSorted 对 BF16 不支持
(policy.float().to(device) 而非 .to(dtype=...))。select_action(batch, noise=...) 传
[B, chunk=50, max_action_dim=32](非 [B, act_dim])。policy.reset() + torch.manual_seed(42)。vlm_model_name 指向本地 SmolVLM2 目录。resolve_device():NPU 可用性检测,失败自动回退 CPU。*.safetensors 已加入 .gitignore。.
├── README.md # 模型卡片(本文件)
├── inference.py # NPU 推理脚本
└── assets/ # 适配过程截图素材