w
gcw_uQ09W7jl/YuankaiLuo-SimVLA-LIBERO-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

YuankaiLuo/SimVLA-LIBERO on Ascend NPU

1. 模型简介

  • 模型名称: YuankaiLuo/SimVLA-LIBERO (SimVLA LIBERO Edition, 0.5B VLM 811M total params, Vision-Language-Action baseline)
  • 任务类型: 机械臂 Vision-Language-Action (manipulation-vla) — LIBERO 仿真/真实机械臂连续动作预测;本仓以操纵 VLA 路由验证 观测→动作块 契约
  • 架构: SmolVLM-500M-Instruct (Idefics3 32层 960 hidden, 5 heads kv, SigLIP vision encoder) + SmolVLMActionTransformer (24层 16头 1024 hidden, flow matching 10 steps, 811M total)
  • 权重: config.json 453 B + model.safetensors 3.1 GB (FP32, 3245529028 bytes, 786 tensors), state.json 23 B (global_step 150000) — 无需外挂 SiMLA 权重,vlm+transformer 已融合
  • 输入: 3相机 RGB 384x384 [B,3,3,384,384] + proprio 8维 [B,8] (libero_joint: ee_pos 3 + ee_ori 3 + gripper 2) + 语言指令 token [B,50] (Tokenizer HuggingFaceTB/SmolVLM-500M-Instruct, vocab 49280)
  • 输出: action_chunk [B,10,7] (horizon 10, action_dim 7: delta_xyz 3 + delta_euler 3 + gripper 1, libero_joint)
  • 路由: manipulation-vla (图像/状态/语言 → 连续动作块) — 已通过 inspect_robotics_model.py 判定
  • 官方地址: https://huggingface.co/YuankaiLuo/SimVLA-LIBERO — Paper https://arxiv.org/abs/2602.18224 — Repo https://github.com/LUOyk1999/SimVLA
  • 许可证: apache-2.0
  • 镜像: HF_ENDPOINT=https://hf-mirror.com (国内镜像下载)

2. 验证环境

  • NPU: Ascend910_9362 ×2, 健康 OK, 驱动 npu-smi 25.5.5, CANN 8.5.1 /usr/local/Ascend/cann-8.5.1, 测试设备 npu:0 (0000:0A:00.0, HBM 65536 MB, 当前 18709 MB used)
  • 系统: Linux aarch64 openEuler, Python 3.11.14, PyTorch 2.9.0+cpu, torch_npu 2.9.0.post1+gitee7ba04, transformers 4.57.6, safetensors 0.6.2, accelerate, Pillow
  • 模型目录: /opt/atomgit/adapt-npu-agent/model_cache/SimVLA-LIBERO (本地加载, 失败回退 snapshot_download via hf-mirror) + SmolVLM base /opt/atomgit/adapt-npu-agent/model_cache/SmolVLM-500M-Instruct
  • Dtype: float32 (config dtype float32, 训练稳定;NPU 上保持 float32 以保证一致性)
  • Seed: 固定 noise seed 123 (消除 flow matching 随机性), 图像 seed 42, proprio seed 42

3. 安装依赖

pip install -r requirements.txt

requirements.txt:

torch==2.9.0
torch_npu==2.9.0.post1
transformers==4.57.6
safetensors
huggingface_hub
Pillow
numpy
accelerate

4. NPU 推理

默认命令 (CPU 基准 + NPU 推理 + 一致性 + 性能, 单步 horizon 10, 真实 npu:0):

python inference.py

显式镜像/离线:

HF_ENDPOINT=https://hf-mirror.com python inference.py

日志至少打印: model_name, revision, route, backend, npu_available, device_name, dtype, 首参数 device, 输入摘要 (image_input/proprio/language), 固定 noise, CPU/NPU action shape/有限值/首尾动作, 同步耗时, 一致性与基准结果。

5. 真实结果

来自 logs/model_result.log 的真实 NPU 执行 (npu:0, float32, 同步计时, 固定 noise):

  • CPU: torch.Size([1,10,7]) first [-0.65429443, 0.09992165, -0.13238291, -0.07856778, -0.09159766, 0.92313379, 1.05058360] last [-1.04619765, -0.01803930, -0.74430179, -0.15692564, 0.06776998, 0.84471583, -0.90212231] mean -0.072222
  • NPU first-run (含编译): 555.55 ms, device npu:0, output [-0.65421235, 0.09987440, -0.13235549, -0.07856398, -0.09159736, 0.92308169, 1.05058467] last [-1.04622995, -0.01804777, -0.74430012, -0.15692558, 0.06770196, 0.84463798, -0.90212506]
  • NPU 10次稳定推理: avg 148.29 ms min 146.71 max 150.65 p50 148.08 p90 150.65 p95 150.65 ms (warmup 3)
  • 设备: npu:0 Ascend910_9362, dtype torch.float32, horizon 10 action_dim 7 batch 1, image_input (1,3,3,384,384)
  • 吞吐: 67.44 actions/s, 6.74 chunks/s (batch*horizon / avg)

6. 一致性

  • 比较对象: 连续动作块 action_chunk [1,10,7] (flow matching 去噪后反归一化, LIBERO joint 7维)
  • 方法: 固定相同 fixed_noise [1,10,7] seed 123, 相同 proprio/image_input/input_ids, 同权重, 同采样步数 10, 同 Euler 积分 dt=-0.1, 手动同步流程 flow_generate_actions (非随机 generate_actions) 以消除 CPU/NPU RNG 分流差异
  • 工具: 内建 max_abs/mae 计算 (FP32 atol 1e-4 rtol 1e-3, BF16 atol 5e-3 rtol 5e-2)
  • 结果: max_abs 0.000082, mae 0.000024, max_ref 1.195716, strict_passed FP32 True (tol 0.001296), passed BF16 True (tol 0.064786), finite True, shape_match True
  • 说明: 若使用未固定的随机 generate_actions (直接 torch.randn on device), CPU vs NPU 差值可达 1.97 (随机性主导), 故以确定性 fixed_noise 为最终一致性标准, 符合 manipulation-vla 路由阈值

7. 性能

  • 预热: 3 次, 正式: 10 次, 每轮前后 torch.npu.synchronize()
  • 报告:
    • compile/first-run: 555.55 ms (含 VLM 编译 + transformer 编译)
    • avg/min/max/p50/p90/p95: 148.29 / 146.71 / 150.65 / 148.08 / 150.65 / 150.65 ms
    • batch 1, horizon 10, action_dim 7, dtype float32, image 384x384*3, language 50 tokens
    • 是否包含预处理: 是 (PIL→tensor→384 resize bicubic→ImageNet normalize), 不含 CSV I/O
    • 显存: 预估 NPU 峰值 ~18709 MB (npu-smi), 模型 811M*4 bytes ~3.2GB + VLM activations
  • CPU: 首次 18.97s 加载 + 推理 (未同步) 对比 NPU 0.55s 体现 NPU 加速

8. 证据图

  • assets/agent_workflow.png — 完整工作流日志 (环境检查→获取模型→分析→NPU验证→性能与校验)
  • assets/npu_device_call.png — npu-smi、NPU availability、设备名、模型/输入/输出 device 证据
  • assets/model_result.png — 默认推理输出与一致性/性能结果 (CPU/NPU 首动作、耗时、PASS)

9. 限制

  • 必须 float32 (NPU 上 BF16 精度与兼容性未充分验证, 本仓固定 float32)
  • 输出为连续回归, 非分类; 不适用 accuracy/F1
  • 当前为合成图像 smoke consistency, 非全量 LIBERO 数据集评测; 真实机械臂数据需接入 LIBERO 环境
  • 单卡 batch=1, horizon 10; 更大 batch/horizon 需评估 OOM
  • 模型权重 3.1GB, 需 5GB 以上剩余空间, 已做磁盘清理约束
  • 依赖 SmolVLM base tokenizer/processor 需 HF_ENDPOINT 镜像, 无网络时需预下载到 model_cache/SmolVLM-500M-Instruct

10. 复现

# 环境检查
npu-smi info
python -c "import torch; import torch_npu; print(torch.npu.is_available()); print(torch.npu.get_device_name(0))"

# 分析模型
python .opencode/skills/npu_adapt_robotics/scripts/inspect_robotics_model.py ./model_cache/SimVLA-LIBERO

# 推理验证
HF_ENDPOINT=https://hf-mirror.com python inference.py

# 校验提交
python .opencode/skills/npu_adapt_robotics/scripts/validate_submission.py YuankaiLuo-SimVLA-LIBERO-NPU