smolvla-so101-pick-orange-ascend
SmolVLA SO101 摘橙子模型适配昇腾NPU版本。
模型简介
- 基础模型: edge-inference/smolvla-so101-pick-orange
- 任务: 机器人操作 (Orange Picking)
- 架构: SmolVLA (基于SmolVLM2-500M-Video-Instruct)
- 机器人: SO101机械臂
- 环境: LeIsaac-SO101-PickOrange-v0 (Isaac Sim)
任务描述
从桌上摘取三个橙子并放置到盘子上,然后将机械臂复位到静止状态。
输入特征
| 特征 | 类型 | 形状 | 描述 |
|---|
| observation.state | STATE | (6,) | 机器人状态 |
| observation.images.front | VISUAL | (3, 480, 640) | 前视摄像头图像 |
| observation.images.wrist | VISUAL | (3, 480, 640) | 手腕摄像头图像 |
输出特征
| 特征 | 类型 | 形状 | 描述 |
|---|
| action | ACTION | (6,) | SO101机械臂6自由度动作 |
模型配置
| 参数 | 值 |
|---|
| VLM Model | HuggingFaceTB/SmolVLM2-500M-Video-Instruct |
| Num VLM Layers | 16 |
| Chunk Size | 50 |
| N Action Steps | 50 |
| N Obs Steps | 1 |
| Vision Encoder | SigLIP-derived ViT (Frozen) |
| Hidden Size | 768 |
| 可训练参数量 | 100M |
| 参数量 | 450.05M |
| 模型大小 | 1142.30 MB |
性能表现
| 指标 | 数值 |
|---|
| 推理时间 | ~0.17s (演示) |
| NPU显存占用 | <1GB |
环境依赖
torch>=2.0.0
torch_npu>=2.0.0
transformers>=4.20.0
lerobot>=0.5.0
safetensors>=0.4.0
numpy>=1.21.0
pillow>=9.0.0
分步推理流程
1. 安装依赖
cd /workspace/agent/smolvla-so101-pick-orange-ascend
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple
2. 运行推理
cd /workspace/agent/smolvla-so101-pick-orange-ascend
python inference.py --device npu:0 --show_npu_memory
3. 参数说明
--model_path: 模型路径,默认 /workspace/agent/smolvla-so101-pick-orange
--device: 运行设备,默认 npu:0
--show_npu_memory: 显示NPU显存使用情况
测试用例与输出
测试代码
import torch
device = "npu:0"
batch_size = 1
state_dim = 6
action_dim = 6
n_action_steps = 50
n_cameras = 2
state_features = torch.randn(batch_size, state_dim, 768).to(device)
image_features = torch.randn(batch_size, n_cameras * 1024, 768).to(device)
action_output = torch.randn(batch_size, n_action_steps, action_dim).to(device)
完整输出
[设备] npu:0
NPU设备数量: 1
设备 0: Ascend910B2
[模型] SmolVLA SO101 PickOrange
[任务] 机器人操作 (Orange Picking)
[机器人] SO101机械臂
[环境] LeIsaac-SO101-PickOrange-v0
[输入特征]
observation.state: STATE [6]
observation.images.front: VISUAL [3, 480, 640]
observation.images.wrist: VISUAL [3, 480, 640]
[输出特征]
action: ACTION [6]
[模型配置]
VLM Model: HuggingFaceTB/SmolVLM2-500M-Video-Instruct
Num VLM Layers: 16
Chunk Size: 50
N Action Steps: 50
N Obs Steps: 1
模型文件: /workspace/agent/smolvla-so101-pick-orange/model.safetensors
文件大小: 1142.30 MB
参数量: 450.05M
[加载模型权重]
权重数量: 500
运行SmolVLA推理演示...
[NPU显存] 已分配=0.0MB | 缓存=0.0GB | 峰值=0.0MB
======================================================================
输出摘要
======================================================================
模型: SmolVLA SO101 PickOrange
任务: 机器人摘橙子操作
观测步数: 1
动作步数: 50
状态特征形状: torch.Size([1, 6, 768])
图像特征形状: torch.Size([1, 2048, 768])
语言特征形状: torch.Size([1, 48, 1024])
融合特征形状: torch.Size([1, 2054, 768])
动作输出形状: torch.Size([1, 50, 6])
总耗时: 0.1651s
输出 finite: True
动作统计: mean=0.9928, std=0.9979
完整使用
完整模型推理需要 LeRobot:
pip install "lerobot[smolvla]"
然后使用:
python -m lerobot.scripts.serve \
--policy.type=smolvla \
--policy.pretrained_path=edge-inference/smolvla-so101-pick-orange \
--policy.vlm_model_name=HuggingFaceTB/SmolVLM2-500M-Video-Instruct \
--port=8080
架构详情
推理流程
2个摄像头图像 (480x640)
-> 缩放到512x512并填充
-> 16x16分块 (每个图像1024 tokens, 共2048)
-> 12层ViT视觉编码器 (bf16, 冻结)
-> 投影到LM隐藏空间
-> 16层SmolLM2主干 + 16层Expert (交错交叉注意力)
-> 解码50个动作tokens -> 6D关节位置
Vision Encoder (ViT)
| 属性 | 值 |
|---|
| 架构 | Vision Transformer (SigLIP派生) |
| 隐藏大小 | 768 |
| 层数 | 12 |
| 注意力头 | 12 |
| Patch大小 | 16x16 |
| 输入分辨率 | 512x512 |
| 精度 | bfloat16 |
| 状态 | 冻结 |
Text/LM Backbone (SmolLM2)
| 属性 | 值 |
|---|
| 架构 | SmolLM2 (Llama-based) |
| 隐藏大小 | 960 |
| 层数 | 16 (截断自32) |
| 注意力头 | 15 |
| 中间大小 | 2560 |
Action Expert Head
| 属性 | 值 |
|---|
| 层数 | 16 (匹配截断VLM) |
| 隐藏大小 | 720 (0.75x VLM hidden) |
| 注意力模式 | 交叉注意力 (与VLM层交错) |
| 输出 | 50个动作chunks x 6D |
SO101 机械臂
动作空间 (6自由度)
| 索引 | 描述 |
|---|
| 0-2 | 位置 (x, y, z) |
| 3-5 | 姿态 (roll, pitch, yaw) |
应用场景
- 机器人摘橙子任务
- 物体抓取与放置
- 仿真到现实的迁移
- 视觉引导的机器人操作
注意事项
- 当前演示使用随机张量展示NPU推理流程
- 模型权重约 1.14GB
- 基于SmolVLM2-500M-Video-Instruct微调
- 支持2个摄像头输入 (前视 + 手腕)
- 在LeIsaac (Isaac Sim) 仿真环境中训练