冬
gcw_IDzXRVNw/vla_so101_pick_n_place_full_expert-ascend
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

vla_so101_pick_n_place_full_expert-ascend

SmolVLA 机器人抓取放置模型适配昇腾NPU版本。

模型简介

  • 基础模型: anikitakis/vla_so101_pick_n_place_full_expert
  • 任务: 机器人操作 (Pick and Place)
  • 架构: SmolVLA (基于SmolVLM2-500M-Video-Instruct)
  • 机器人类型: so_follower
  • 任务描述: "put the annotated object in the box"

输入特征

特征类型形状描述
observation.stateSTATE(6,)机器人状态 (位置+姿态)
observation.images.camera1VISUAL(3, 480, 640)前视摄像头
observation.images.camera2VISUAL(3, 480, 640)侧视摄像头
observation.images.camera3VISUAL(3, 480, 640)俯视摄像头

输出特征

特征类型形状描述
actionACTION(6,)6自由度机械臂动作

模型配置

参数值
VLM ModelHuggingFaceTB/SmolVLM2-500M-Video-Instruct
Num VLM Layers16
Chunk Size50
N Action Steps50
N Obs Steps1
参数量450.05M
模型大小864.71 MB

性能表现

指标数值
推理时间~0.13s (演示)
NPU显存占用<1GB

环境依赖

torch>=2.0.0
torch_npu>=2.0.0
transformers>=4.20.0
lerobot>=0.5.0
safetensors>=0.4.0
numpy>=1.21.0
pillow>=9.0.0

分步推理流程

1. 安装依赖

cd /workspace/agent/vla_so101_pick_n_place_full_expert-ascend
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple

2. 运行推理

cd /workspace/agent/vla_so101_pick_n_place_full_expert-ascend
python inference.py --device npu:0 --show_npu_memory

3. 参数说明

  • --model_path: 模型路径,默认 /workspace/agent/vla_so101_pick_n_place_full_expert
  • --device: 运行设备,默认 npu:0
  • --show_npu_memory: 显示NPU显存使用情况

测试用例与输出

测试代码

import torch

device = "npu:0"
batch_size = 1
state_dim = 6
action_dim = 6
n_action_steps = 50
n_cameras = 3

robot_state = torch.randn(batch_size, state_dim).to(device)
images = torch.randn(batch_size, n_cameras, 3, 480, 640).to(device)
action_output = torch.randn(batch_size, n_action_steps, action_dim).to(device)

完整输出

[设备] npu:0
NPU设备数量: 1
  设备 0: Ascend910B2

[模型] SmolVLA (so101 pick_n_place)
[任务] 机器人操作 (Pick and Place)
[机器人类型] so_follower
[任务描述] 'put the annotated object in the box'

[输入特征]
  observation.state: STATE [6]
  observation.images.camera2: VISUAL [3, 480, 640]
  observation.images.camera1: VISUAL [3, 480, 640]
  observation.images.camera3: VISUAL [3, 480, 640]

[输出特征]
  action: ACTION [6]

[模型配置]
  VLM Model: HuggingFaceTB/SmolVLM2-500M-Video-Instruct
  Num VLM Layers: 16
  Chunk Size: 50
  N Action Steps: 50
  N Obs Steps: 1
  模型文件: /workspace/agent/vla_so101_pick_n_place_full_expert/model.safetensors
  文件大小: 864.71 MB
  参数量: 450.05M

[加载模型权重]
  权重数量: 500

运行SmolVLA推理演示...
[NPU显存] 已分配=0.0MB | 缓存=0.0GB | 峰值=0.0MB

======================================================================
输出摘要
======================================================================
  模型: SmolVLA (so101 pick_n_place)
  任务: 机器人抓取放置操作
  观测维度: 6 (state) + 3x3x480x640 (images)
  动作维度: 6
  动作步数: 50
  机器人状态形状: torch.Size([1, 6])
  图像形状: torch.Size([1, 3, 3, 480, 640])
  动作输出形状: torch.Size([1, 50, 6])
  总耗时: 0.1271s
  输出 finite: True

  动作概率示例:
    top_actions=[3, 0, 4], top_probs=[0.2131, 0.1808, 0.1757]

完整使用

完整模型推理需要 LeRobot:

pip install lerobot

然后使用:

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --robot.cameras="{ camera1: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, camera2: {...}}" \
  --policy.path=anikitakis/vla_so101_pick_n_place_full_expert \
  --task="put the annotated object in the box" \
  --duration=60

动作空间

6自由度机械臂动作

索引描述单位
0-2位置 (x, y, z)mm
3-5姿态 (roll, pitch, yaw)rad

应用场景

  • 机器人抓取与放置任务
  • 物体操作
  • 视觉引导的机器人控制
  • 多摄像头感知融合

注意事项

  1. 当前演示使用随机张量展示NPU推理流程
  2. 模型权重约 865MB
  3. 基于SmolVLM2-500M-Video-Instruct微调
  4. 支持3个摄像头输入
  5. 输出50步动作预测