L
Lumiire/smolvla-so101-pick-orange-2026-08-19
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

SmolVLA SO101 PickOrange

华为昇腾模型适配第2期,适配模型为 edge-inference/smolvla-so101-pick-orange

简介

SmolVLA SO101 PickOrange 是一个视觉-语言-动作(VLA)机器人策略模型,基于 SmolVLA 架构(SmolVLM2-500M-Video-Instruct 骨干 + 流匹配动作专家)。该模型在 LeIsaac(Isaac Sim)仿真环境中,针对 SO101 机器人臂执行"pick orange"(从桌上捡起橙子放到盘子里)任务进行了微调。模型权重 1.2GB,参数量约 262.7M(VLM 骨干 + Action Expert 流匹配去噪模块)。

本适配将模型部署到华为昇腾 NPU(Ascend910B)上,使用 torch_npu 原生推理,通过 FastAPI 提供 HTTP 服务。

验证环境

项目信息
硬件Ascend 910B (NPU 7, 64GB HBM)
操作系统Linux (aarch64)
Python3.11.14
PyTorch2.9.0
torch_npu2.9.0.post1
vLLM0.18.0 (vLLM-Ascend 门禁失败,模型非 LLM 架构)
lerobot0.4.4 (自带 SmolVLA 策略代码)
transformers4.57.6
推理方式torch_npu 原生推理 + FastAPI 服务化

服务启动

快速推理(单次)

python3 inference.py \
    --weights /path/to/smolvla-so101-pick-orange \
    --device npu:0 \
    --state "0.1,0.2,0.3,0.4,0.5,0.6" \
    --task "pick the orange and place it on the plate"

HTTP 服务化

python3 inference.py --serve --port 8000 --device npu:0

服务启动后,可通过以下接口调用:

健康检查:

curl http://localhost:8000/health

推理请求:

curl -X POST http://localhost:8000/predict \
  -H "Content-Type: application/json" \
  -d '{
    "state": [0.1, 0.2, 0.3, 0.4, 0.5, 0.6],
    "task": "pick the orange and place it on the plate"
  }'

Smoke验证

# 使用合成测试图像 + 默认状态向量
python3 inference.py --weights smolvla-so101-pick-orange \
    --device npu:0 \
    --state "0.1,0.2,0.3,0.4,0.5,0.6" \
    --task "pick the orange and place it on the plate"

预期输出:

  • 模型加载成功,耗时约 18-20s
  • 推理输出形状为 (50, 6),即 50 步动作 chunk,每步 6 维关节位置
  • 推理时间约 400-500ms(NPU)

性能参考

指标数值
模型加载时间18.7s (NPU, 离线模式)
推理时间(单次)418ms (NPU fp32)
动作输出维度50步 x 6维关节位置
流匹配去噪步数10步
图像输入2路 480x640 RGB(front + wrist)
AICore 占用峰值 ~20%(推理时)
HBM 占用模型加载后约 3.2GB

精度测评

对比项结果
CPU fp32 vs NPU fp32差异 < 0.7%(bf16 舍入正常范围)
权重加载500/500 键完全匹配
补丁影响torch.bucketize bf16→fp32 转换不影响精度
噪声种子固定种子下输出可复现

注意事项

  1. vLLM 不适用:SmolVLA 是 VLA 策略(含视觉编码器 + 流匹配动作专家),非 LLM 文本生成模型。vLLM-Ascend 门禁无法识别 smolvla 架构,需改用 torch_npu 原生推理。
  2. torch.bucketize bf16 补丁:SmolVLM2 视觉 position embedding 中 torch.bucketize 输入为 bf16,昇腾 searchsorted 不支持 bf16。需在 torch.bucketize 前将 bf16 输入转 fp32。
  3. attention_mask 类型补丁:NPU 上 torch.where 要求 condition 为 bool 类型,eager_attention_forward 中需将 Long 类型 mask 转为 bool。
  4. PolicyFeature 转换:从 config.json 加载的 input_features 为 dict 类型,需转为 PolicyFeature 对象,包括 FeatureType 枚举转换。
  5. 归一化统计:模型使用 MEAN_STD 归一化,统计参数存储在 policy_preprocessor_step_5_normalizer_processor.safetensors 和 policy_postprocessor_step_0_unnormalizer_processor.safetensors 中。
  6. SmolVLM2 Processor:需预下载 SmolVLM2-500M-Video-Instruct 的 tokenizer/processor 文件到本地,或设置 HF_HUB_OFFLINE=1 使用本地 cache。
  7. 合成测试图像:测试时使用 checkerboard/gradient 模式合成图像,实际使用时需替换为真实相机图像。