w
gcw_uQ09W7jl/X-VLA-Libero-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

X-VLA-Libero NPU 适配

模型: 2toINF/X-VLA-Libero
Revision: 129e71460678b7236cee6fc9707f09d9fa0c3590
任务: manipulation-vla — 多视角图像 + 语言指令 + 本体感知 → 连续动作块
硬件: Ascend 910 (npu:0) + CPU 对比
精度: FP32

模型与路由

X-VLA 是基于 Florence-2 的 Vision-Language-Action 模型,采用 Soft Prompted Transformer 与 Flow Matching 去噪,输出 ee6d 20 维连续动作。

  • 路由: manipulation-vla
  • 观测: 3 视角 RGB (224×224, CLIP 归一化), input_ids (B=1, L=50, BartTokenizer), proprio (1×20), domain_id (0/30)
  • 输出: action_chunk shape [1, 30, 20] — horizon 30, dim 20 (ee6d: xyz 6D rot + gripper)

真实 NPU 推理

在 npu:0 上加载真实权重 model.safetensors (3.35 GB) 并执行 generate_actions(steps=5) 迭代去噪:

  • 首参设备: npu:0, float32
  • 所有输入张量设备: npu:0
  • 输出设备: npu:0
  • 计时前后调用 torch.npu.synchronize()
model_name: 2toINF/X-VLA-Libero
revision: 129e71460678b7236cee6fc9707f09d9fa0c3590
route: manipulation-vla
backend: transformers AutoModel XVLA
device: npu:0
dtype: torch.float32, steps: 5
action shape: (1, 30, 20)
horizon 30 action_dim 20
sync_latency: ~95 ms (steady), ~450 ms (first compile)
status: PASS

CPU-NPU 一致性

保持权重、预处理、采样算法、seed、dtype、steps 完全一致,同一输入在 CPU 与 NPU 上对比:

  • 比较对象: 去归一化后连续动作张量 [1,30,20]
  • 指标: max_abs, MAE, 有限值, shape
  • 阈值: FP32 atol=5e-3, rtol=5e-2 (实际 max_abs=0.000697, mae=0.000179, tol~0.033, PASS)
  • 意义: 动作语义级一致性,非文本非空或 reward

性能

torch.npu.synchronize() 包围,预热 1 次,正式 10 次:

  • 平均: 94.99 ms
  • 最小/最大: 94.48 / 95.55 ms
  • p50: ~95 ms
  • 吞吐: ~315 actions/s, ~10.5 chunks/s
  • 配置: batch 1, 3 views 224x224, horizon 30, dim 20, steps 5, FP32, NPU 单卡

输入输出契约

输入

字段类型shape设备
input_idsLongTensor[1,50]npu:0
image_inputFloatTensor[1,3,3,224,224]npu:0
image_maskBoolTensor[1,3]npu:0
proprioFloatTensor[1,20]npu:0
domain_idLongTensor[1]npu:0

输出

字段类型shape设备
action_chunkFloatTensor[1,30,20]npu:0

环境与限制

  • PyTorch: 2.9.0+cpu, torch_npu: 2.9.0.post1, transformers: 4.57.6, timm: 1.0.29 (via /tmp/pytorch-image-models), HuggingFace Hub
  • NPU: Ascend910_9362, torch.npu.is_available()=True, device_count=2
  • 必须: trust_remote_code=True, 需审查本地 modeling_*.py 无网络/子进程/CPU fallback
  • 单卡显存: 65 GB HBM, 模型 3.35 GB + Florence2 + Transformer 可单卡加载

证据

  • assets/agent_workflow.png — 侦察、加载、NPU推理、一致性与性能
  • assets/npu_device_call.png — npu-smi 与 device 证明
  • assets/model_result.png — python inference.py 真实输出

agent workflow npu device model result

复现

pip install -r requirements.txt
# 若 timm 未命中 PyPI,可 git clone https://github.com/huggingface/pytorch-image-models.git /tmp/pytorch-image-models
PYTHONPATH=/tmp/pytorch-image-models:$PYTHONPATH python inference.py