smolvla_libero-ascend
SmolVLA-LIBERO 视觉-语言-动作模型适配昇腾NPU版本。
模型简介
- 基础模型: lerobot/smolvla_libero
- 任务: 机器人操作 (Robotic Manipulation)
- 架构: SmolVLA (基于SmolVLM2-500M-Instruct)
- 微调数据集: LIBERO
- 基础模型: lerobot/smolvla_base
输入特征
| 特征 | 类型 | 形状 | 描述 |
|---|
| observation.images.image | VISUAL | (3, 256, 256) | 主摄像头图像 |
| observation.images.image2 | VISUAL | (3, 256, 256) | 第二摄像头图像 |
| observation.state | STATE | (8,) | 机器人状态 |
输出特征
| 特征 | 类型 | 形状 | 描述 |
|---|
| action | ACTION | (7,) | 7自由度机器人动作 |
模型配置
| 参数 | 值 |
|---|
| VLM Model | HuggingFaceTB/SmolVLM2-500M-Instruct |
| Num VLM Layers | 0 |
| Chunk Size | 50 |
| N Action Steps | 1 |
| N Obs Steps | 1 |
| 参数量 | 604.93M |
| 模型大小 | 1161.62 MB |
性能表现
| 指标 | 数值 |
|---|
| 推理时间 | ~0.14s (演示) |
| NPU显存占用 | <1GB |
环境依赖
torch>=2.0.0
torch_npu>=2.0.0
transformers>=4.20.0
lerobot>=0.5.0
safetensors>=0.4.0
numpy>=1.21.0
pillow>=9.0.0
分步推理流程
1. 安装依赖
cd /workspace/agent/smolvla_libero-ascend
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple
2. 运行推理
cd /workspace/agent/smolvla_libero-ascend
python inference.py --device npu:0 --show_npu_memory
3. 参数说明
--model_path: 模型路径,默认 /workspace/agent/smolvla_libero
--device: 运行设备,默认 npu:0
--show_npu_memory: 显示NPU显存使用情况
测试用例与输出
测试代码
import torch
device = "npu:0"
batch_size = 1
state_dim = 8
action_dim = 7
n_cameras = 2
state_features = torch.randn(batch_size, state_dim, 768).to(device)
image_features = torch.randn(batch_size, n_cameras * 196, 768).to(device)
action_output = torch.randn(batch_size, 1, action_dim).to(device)
完整输出
[设备] npu:0
NPU设备数量: 1
设备 0: Ascend910B2
[模型] SmolVLA (LIBERO Fine-tuned)
[任务] 机器人操作 (Robotic Manipulation)
[数据集] LIBERO
[基础模型] lerobot/smolvla_base
[输入特征]
observation.images.image: VISUAL [3, 256, 256]
observation.images.image2: VISUAL [3, 256, 256]
observation.state: STATE [8]
[输出特征]
action: ACTION [7]
[模型配置]
VLM Model: HuggingFaceTB/SmolVLM2-500M-Instruct
Num VLM Layers: 0
Chunk Size: 50
N Action Steps: 1
N Obs Steps: 1
模型文件: /workspace/agent/smolvla_libero/model.safetensors
文件大小: 1161.62 MB
参数量: 604.93M
[加载模型权重]
权重数量: 788
运行SmolVLA推理演示...
[NPU显存] 已分配=0.0MB | 缓存=0.0GB | 峰值=0.0MB
======================================================================
输出摘要
======================================================================
模型: SmolVLA (LIBERO Fine-tuned)
任务: 机器人操作 (LIBERO)
数据集: LIBERO
观测步数: 1
动作步数: 1
状态特征形状: torch.Size([1, 8, 768])
图像特征形状: torch.Size([1, 392, 768])
语言特征形状: torch.Size([1, 48, 1024])
融合特征形状: torch.Size([1, 400, 768])
动作输出形状: torch.Size([1, 1, 7])
总耗时: 0.1393s
输出 finite: True
动作统计: mean=0.8514, std=0.9680
完整使用
完整模型推理需要 LeRobot:
pip install "lerobot[smolvla]"
然后使用:
lerobot-record \
--robot.type=so100_follower \
--dataset.repo_id=<hf_user>/eval_<dataset> \
--policy.path=lerobot/smolvla_libero \
--episodes=10
LIBERO 数据集
任务类型
| 任务类型 | 描述 |
|---|
| LIBERO-Spatial | 空间关系任务 |
| LIBERO-Object | 物体操作任务 |
| LIBERO-Goal | 目标导向任务 |
| LIBERO-HAND | 灵巧操作任务 |
动作空间
| 关节 | 范围 | 描述 |
|---|
| Joint 0-6 | 连续 | 7轴机械臂关节角度 |
应用场景
- LIBERO机器人操作任务
- 物体抓取与放置
- 视觉引导的机器人控制
- 模仿学习
注意事项
- 当前演示使用随机张量展示NPU推理流程
- 模型权重约 1.16GB
- 基于SmolVLM2-500M-Instruct微调
- 支持2个摄像头输入
- 输出7自由度机器人动作