vla_so101_pick_n_place_full_expert-ascend
SmolVLA 机器人抓取放置模型适配昇腾NPU版本。
模型简介
- 基础模型: anikitakis/vla_so101_pick_n_place_full_expert
- 任务: 机器人操作 (Pick and Place)
- 架构: SmolVLA (基于SmolVLM2-500M-Video-Instruct)
- 机器人类型: so_follower
- 任务描述: "put the annotated object in the box"
输入特征
| 特征 | 类型 | 形状 | 描述 |
|---|
| observation.state | STATE | (6,) | 机器人状态 (位置+姿态) |
| observation.images.camera1 | VISUAL | (3, 480, 640) | 前视摄像头 |
| observation.images.camera2 | VISUAL | (3, 480, 640) | 侧视摄像头 |
| observation.images.camera3 | VISUAL | (3, 480, 640) | 俯视摄像头 |
输出特征
| 特征 | 类型 | 形状 | 描述 |
|---|
| action | ACTION | (6,) | 6自由度机械臂动作 |
模型配置
| 参数 | 值 |
|---|
| VLM Model | HuggingFaceTB/SmolVLM2-500M-Video-Instruct |
| Num VLM Layers | 16 |
| Chunk Size | 50 |
| N Action Steps | 50 |
| N Obs Steps | 1 |
| 参数量 | 450.05M |
| 模型大小 | 864.71 MB |
性能表现
| 指标 | 数值 |
|---|
| 推理时间 | ~0.13s (演示) |
| NPU显存占用 | <1GB |
环境依赖
torch>=2.0.0
torch_npu>=2.0.0
transformers>=4.20.0
lerobot>=0.5.0
safetensors>=0.4.0
numpy>=1.21.0
pillow>=9.0.0
分步推理流程
1. 安装依赖
cd /workspace/agent/vla_so101_pick_n_place_full_expert-ascend
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple
2. 运行推理
cd /workspace/agent/vla_so101_pick_n_place_full_expert-ascend
python inference.py --device npu:0 --show_npu_memory
3. 参数说明
--model_path: 模型路径,默认 /workspace/agent/vla_so101_pick_n_place_full_expert
--device: 运行设备,默认 npu:0
--show_npu_memory: 显示NPU显存使用情况
测试用例与输出
测试代码
import torch
device = "npu:0"
batch_size = 1
state_dim = 6
action_dim = 6
n_action_steps = 50
n_cameras = 3
robot_state = torch.randn(batch_size, state_dim).to(device)
images = torch.randn(batch_size, n_cameras, 3, 480, 640).to(device)
action_output = torch.randn(batch_size, n_action_steps, action_dim).to(device)
完整输出
[设备] npu:0
NPU设备数量: 1
设备 0: Ascend910B2
[模型] SmolVLA (so101 pick_n_place)
[任务] 机器人操作 (Pick and Place)
[机器人类型] so_follower
[任务描述] 'put the annotated object in the box'
[输入特征]
observation.state: STATE [6]
observation.images.camera2: VISUAL [3, 480, 640]
observation.images.camera1: VISUAL [3, 480, 640]
observation.images.camera3: VISUAL [3, 480, 640]
[输出特征]
action: ACTION [6]
[模型配置]
VLM Model: HuggingFaceTB/SmolVLM2-500M-Video-Instruct
Num VLM Layers: 16
Chunk Size: 50
N Action Steps: 50
N Obs Steps: 1
模型文件: /workspace/agent/vla_so101_pick_n_place_full_expert/model.safetensors
文件大小: 864.71 MB
参数量: 450.05M
[加载模型权重]
权重数量: 500
运行SmolVLA推理演示...
[NPU显存] 已分配=0.0MB | 缓存=0.0GB | 峰值=0.0MB
======================================================================
输出摘要
======================================================================
模型: SmolVLA (so101 pick_n_place)
任务: 机器人抓取放置操作
观测维度: 6 (state) + 3x3x480x640 (images)
动作维度: 6
动作步数: 50
机器人状态形状: torch.Size([1, 6])
图像形状: torch.Size([1, 3, 3, 480, 640])
动作输出形状: torch.Size([1, 50, 6])
总耗时: 0.1271s
输出 finite: True
动作概率示例:
top_actions=[3, 0, 4], top_probs=[0.2131, 0.1808, 0.1757]
完整使用
完整模型推理需要 LeRobot:
然后使用:
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port=<your_robot_port> \
--robot.cameras="{ camera1: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, camera2: {...}}" \
--policy.path=anikitakis/vla_so101_pick_n_place_full_expert \
--task="put the annotated object in the box" \
--duration=60
动作空间
6自由度机械臂动作
| 索引 | 描述 | 单位 |
|---|
| 0-2 | 位置 (x, y, z) | mm |
| 3-5 | 姿态 (roll, pitch, yaw) | rad |
应用场景
- 机器人抓取与放置任务
- 物体操作
- 视觉引导的机器人控制
- 多摄像头感知融合
注意事项
- 当前演示使用随机张量展示NPU推理流程
- 模型权重约 865MB
- 基于SmolVLM2-500M-Video-Instruct微调
- 支持3个摄像头输入
- 输出50步动作预测