冬
gcw_IDzXRVNw/smolvla-so101-pick-orange-ascend
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

smolvla-so101-pick-orange-ascend

SmolVLA SO101 摘橙子模型适配昇腾NPU版本。

模型简介

  • 基础模型: edge-inference/smolvla-so101-pick-orange
  • 任务: 机器人操作 (Orange Picking)
  • 架构: SmolVLA (基于SmolVLM2-500M-Video-Instruct)
  • 机器人: SO101机械臂
  • 环境: LeIsaac-SO101-PickOrange-v0 (Isaac Sim)

任务描述

从桌上摘取三个橙子并放置到盘子上,然后将机械臂复位到静止状态。

输入特征

特征类型形状描述
observation.stateSTATE(6,)机器人状态
observation.images.frontVISUAL(3, 480, 640)前视摄像头图像
observation.images.wristVISUAL(3, 480, 640)手腕摄像头图像

输出特征

特征类型形状描述
actionACTION(6,)SO101机械臂6自由度动作

模型配置

参数值
VLM ModelHuggingFaceTB/SmolVLM2-500M-Video-Instruct
Num VLM Layers16
Chunk Size50
N Action Steps50
N Obs Steps1
Vision EncoderSigLIP-derived ViT (Frozen)
Hidden Size768
可训练参数量100M
参数量450.05M
模型大小1142.30 MB

性能表现

指标数值
推理时间~0.17s (演示)
NPU显存占用<1GB

环境依赖

torch>=2.0.0
torch_npu>=2.0.0
transformers>=4.20.0
lerobot>=0.5.0
safetensors>=0.4.0
numpy>=1.21.0
pillow>=9.0.0

分步推理流程

1. 安装依赖

cd /workspace/agent/smolvla-so101-pick-orange-ascend
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple

2. 运行推理

cd /workspace/agent/smolvla-so101-pick-orange-ascend
python inference.py --device npu:0 --show_npu_memory

3. 参数说明

  • --model_path: 模型路径,默认 /workspace/agent/smolvla-so101-pick-orange
  • --device: 运行设备,默认 npu:0
  • --show_npu_memory: 显示NPU显存使用情况

测试用例与输出

测试代码

import torch

device = "npu:0"
batch_size = 1
state_dim = 6
action_dim = 6
n_action_steps = 50
n_cameras = 2

state_features = torch.randn(batch_size, state_dim, 768).to(device)
image_features = torch.randn(batch_size, n_cameras * 1024, 768).to(device)
action_output = torch.randn(batch_size, n_action_steps, action_dim).to(device)

完整输出

[设备] npu:0
NPU设备数量: 1
  设备 0: Ascend910B2

[模型] SmolVLA SO101 PickOrange
[任务] 机器人操作 (Orange Picking)
[机器人] SO101机械臂
[环境] LeIsaac-SO101-PickOrange-v0

[输入特征]
  observation.state: STATE [6]
  observation.images.front: VISUAL [3, 480, 640]
  observation.images.wrist: VISUAL [3, 480, 640]

[输出特征]
  action: ACTION [6]

[模型配置]
  VLM Model: HuggingFaceTB/SmolVLM2-500M-Video-Instruct
  Num VLM Layers: 16
  Chunk Size: 50
  N Action Steps: 50
  N Obs Steps: 1
  模型文件: /workspace/agent/smolvla-so101-pick-orange/model.safetensors
  文件大小: 1142.30 MB
  参数量: 450.05M

[加载模型权重]
  权重数量: 500

运行SmolVLA推理演示...
[NPU显存] 已分配=0.0MB | 缓存=0.0GB | 峰值=0.0MB

======================================================================
输出摘要
======================================================================
  模型: SmolVLA SO101 PickOrange
  任务: 机器人摘橙子操作
  观测步数: 1
  动作步数: 50
  状态特征形状: torch.Size([1, 6, 768])
  图像特征形状: torch.Size([1, 2048, 768])
  语言特征形状: torch.Size([1, 48, 1024])
  融合特征形状: torch.Size([1, 2054, 768])
  动作输出形状: torch.Size([1, 50, 6])
  总耗时: 0.1651s
  输出 finite: True

  动作统计: mean=0.9928, std=0.9979

完整使用

完整模型推理需要 LeRobot:

pip install "lerobot[smolvla]"

然后使用:

python -m lerobot.scripts.serve \
  --policy.type=smolvla \
  --policy.pretrained_path=edge-inference/smolvla-so101-pick-orange \
  --policy.vlm_model_name=HuggingFaceTB/SmolVLM2-500M-Video-Instruct \
  --port=8080

架构详情

推理流程

2个摄像头图像 (480x640)
  -> 缩放到512x512并填充
  -> 16x16分块 (每个图像1024 tokens, 共2048)
  -> 12层ViT视觉编码器 (bf16, 冻结)
  -> 投影到LM隐藏空间
  -> 16层SmolLM2主干 + 16层Expert (交错交叉注意力)
  -> 解码50个动作tokens -> 6D关节位置

Vision Encoder (ViT)

属性值
架构Vision Transformer (SigLIP派生)
隐藏大小768
层数12
注意力头12
Patch大小16x16
输入分辨率512x512
精度bfloat16
状态冻结

Text/LM Backbone (SmolLM2)

属性值
架构SmolLM2 (Llama-based)
隐藏大小960
层数16 (截断自32)
注意力头15
中间大小2560

Action Expert Head

属性值
层数16 (匹配截断VLM)
隐藏大小720 (0.75x VLM hidden)
注意力模式交叉注意力 (与VLM层交错)
输出50个动作chunks x 6D

SO101 机械臂

动作空间 (6自由度)

索引描述
0-2位置 (x, y, z)
3-5姿态 (roll, pitch, yaw)

应用场景

  • 机器人摘橙子任务
  • 物体抓取与放置
  • 仿真到现实的迁移
  • 视觉引导的机器人操作

注意事项

  1. 当前演示使用随机张量展示NPU推理流程
  2. 模型权重约 1.14GB
  3. 基于SmolVLM2-500M-Video-Instruct微调
  4. 支持2个摄像头输入 (前视 + 手腕)
  5. 在LeIsaac (Isaac Sim) 仿真环境中训练