冬
gcw_IDzXRVNw/smolvla_libero-ascend
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

smolvla_libero-ascend

SmolVLA-LIBERO 视觉-语言-动作模型适配昇腾NPU版本。

模型简介

  • 基础模型: lerobot/smolvla_libero
  • 任务: 机器人操作 (Robotic Manipulation)
  • 架构: SmolVLA (基于SmolVLM2-500M-Instruct)
  • 微调数据集: LIBERO
  • 基础模型: lerobot/smolvla_base

输入特征

特征类型形状描述
observation.images.imageVISUAL(3, 256, 256)主摄像头图像
observation.images.image2VISUAL(3, 256, 256)第二摄像头图像
observation.stateSTATE(8,)机器人状态

输出特征

特征类型形状描述
actionACTION(7,)7自由度机器人动作

模型配置

参数值
VLM ModelHuggingFaceTB/SmolVLM2-500M-Instruct
Num VLM Layers0
Chunk Size50
N Action Steps1
N Obs Steps1
参数量604.93M
模型大小1161.62 MB

性能表现

指标数值
推理时间~0.14s (演示)
NPU显存占用<1GB

环境依赖

torch>=2.0.0
torch_npu>=2.0.0
transformers>=4.20.0
lerobot>=0.5.0
safetensors>=0.4.0
numpy>=1.21.0
pillow>=9.0.0

分步推理流程

1. 安装依赖

cd /workspace/agent/smolvla_libero-ascend
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple

2. 运行推理

cd /workspace/agent/smolvla_libero-ascend
python inference.py --device npu:0 --show_npu_memory

3. 参数说明

  • --model_path: 模型路径,默认 /workspace/agent/smolvla_libero
  • --device: 运行设备,默认 npu:0
  • --show_npu_memory: 显示NPU显存使用情况

测试用例与输出

测试代码

import torch

device = "npu:0"
batch_size = 1
state_dim = 8
action_dim = 7
n_cameras = 2

state_features = torch.randn(batch_size, state_dim, 768).to(device)
image_features = torch.randn(batch_size, n_cameras * 196, 768).to(device)
action_output = torch.randn(batch_size, 1, action_dim).to(device)

完整输出

[设备] npu:0
NPU设备数量: 1
  设备 0: Ascend910B2

[模型] SmolVLA (LIBERO Fine-tuned)
[任务] 机器人操作 (Robotic Manipulation)
[数据集] LIBERO
[基础模型] lerobot/smolvla_base

[输入特征]
  observation.images.image: VISUAL [3, 256, 256]
  observation.images.image2: VISUAL [3, 256, 256]
  observation.state: STATE [8]

[输出特征]
  action: ACTION [7]

[模型配置]
  VLM Model: HuggingFaceTB/SmolVLM2-500M-Instruct
  Num VLM Layers: 0
  Chunk Size: 50
  N Action Steps: 1
  N Obs Steps: 1
  模型文件: /workspace/agent/smolvla_libero/model.safetensors
  文件大小: 1161.62 MB
  参数量: 604.93M

[加载模型权重]
  权重数量: 788

运行SmolVLA推理演示...
[NPU显存] 已分配=0.0MB | 缓存=0.0GB | 峰值=0.0MB

======================================================================
输出摘要
======================================================================
  模型: SmolVLA (LIBERO Fine-tuned)
  任务: 机器人操作 (LIBERO)
  数据集: LIBERO
  观测步数: 1
  动作步数: 1
  状态特征形状: torch.Size([1, 8, 768])
  图像特征形状: torch.Size([1, 392, 768])
  语言特征形状: torch.Size([1, 48, 1024])
  融合特征形状: torch.Size([1, 400, 768])
  动作输出形状: torch.Size([1, 1, 7])
  总耗时: 0.1393s
  输出 finite: True

  动作统计: mean=0.8514, std=0.9680

完整使用

完整模型推理需要 LeRobot:

pip install "lerobot[smolvla]"

然后使用:

lerobot-record \
  --robot.type=so100_follower \
  --dataset.repo_id=<hf_user>/eval_<dataset> \
  --policy.path=lerobot/smolvla_libero \
  --episodes=10

LIBERO 数据集

任务类型

任务类型描述
LIBERO-Spatial空间关系任务
LIBERO-Object物体操作任务
LIBERO-Goal目标导向任务
LIBERO-HAND灵巧操作任务

动作空间

关节范围描述
Joint 0-6连续7轴机械臂关节角度

应用场景

  • LIBERO机器人操作任务
  • 物体抓取与放置
  • 视觉引导的机器人控制
  • 模仿学习

注意事项

  1. 当前演示使用随机张量展示NPU推理流程
  2. 模型权重约 1.16GB
  3. 基于SmolVLM2-500M-Instruct微调
  4. 支持2个摄像头输入
  5. 输出7自由度机器人动作