Y
YYPGD/X-VLA-Pt
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

X-VLA-Pt 昇腾NPU部署文档

1. 模型简介

模型名称: X-VLA-Pt(2toINF/X-VLA-Pt,X-VLA 0.9B Foundation / 预训练版) 模型链接: https://ai.gitcode.com/hf_mirrors/2toINF/X-VLA-Pt 模型描述: X-VLA(Zheng et al., 2025, arXiv:2510.10274)是软提示(Soft Prompt)跨本体视觉-语言-动作(VLA)基础模型:为每个本体(embodiment)引入一组独立可学习嵌入作为 soft prompt,以极少新增参数利用跨本体异构机器人数据。整体架构为纯标准 Transformer 的流匹配(Flow Matching)VLA 设计,在 Bridge Data 上训练,于六个仿真基准与三种真机机器人上同时取得 SOTA。本仓库为预训练基础版(Pt)。 模型架构: Florence-2(DaViT 视觉编码器 + BART 文本编码器)视觉-语言主干 + SoftPromptedTransformer(24 层流匹配动作去噪器,每本体 soft prompt)+ Action Hub(ee6d 动作空间)。 参数规模: 约 0.9B(model.safetensors 约 3.5GB,float32)

2. 环境依赖

依赖项版本要求说明
Python>= 3.10推荐 3.11
torch / torch_npu2.1.0+NPU 上需安装 torch_npu(系统环境已含 2.7.1)
transformers== 4.57.6自定义代码(trust_remote_code=True)与 XVLAProcessor 支持;5.x 与 Florence-2 自定义 config 不兼容(已装至 libs)
huggingface_hub< 1.0transformers 4.x 要求(0.36.0)
einops / timm最新版Florence-2 建模代码依赖(已装至 libs)
fastapi / uvicorn / json-numpy / opencv-python-headless最新版modeling_xvla.py 顶部硬依赖(已装至 libs)

安装命令:

pip install --target /mnt/workspace/X-VLA-Pt/libs -i https://pypi.tuna.tsinghua.edu.cn/simple "transformers==4.57.6" "huggingface_hub==0.36.0" einops timm pillow numpy fastapi uvicorn json-numpy opencv-python-headless

3. 推理步骤

3.1 环境准备

# 检查 NPU 设备
npu-smi info
# 权重已就位
ls /home/developer/models/X-VLA-Pt/   # config.json model.safetensors modeling_xvla.py processing_xvla.py ...

3.2 运行推理

PYTHONPATH=/mnt/workspace/X-VLA-Pt/libs python3 inference.py --model_path /home/developer/models/X-VLA-Pt

脚本内置合成三视角桌面场景图(正视 + 腕部 + 侧视)、抓放指令、示例本体状态与域 ID,自动选择设备 npu > cuda > cpu,全程离线推理(local_files_only=True,自定义建模代码随权重目录经 trust_remote_code 本地加载)。

3.3 推理参数说明

参数类型默认值说明
--model_pathstr/home/developer/models/X-VLA-PtX-VLA 权重目录
--instructionstrpick up the black bowl on the stove and place it on the plate自然语言操作指令
--domain_idint0本体/域 ID(0..29,对应训练时各数据集/本体)
--stepsint10Flow Matching Euler 积分去噪步数
环境变量 XVLA_DEVICEstr自动(npu > cuda > cpu)强制指定推理设备

4. 测试样例及输出结果

样例 1:内置合成三视角观测 + 抓放指令

输入:

python3 inference.py --model_path /home/developer/models/X-VLA-Pt

输出:

使用设备: npu
instruction      : pick up the black bowl on the stove and place it on the plate
domain_id        : 0
输入视角数       : 3 / 3
flow matching 步数: 10
输出动作块 shape : (1, 30, 20)  (batch, num_actions, dim_action)
首帧动作         : [...]
动作范围         : [...]
模型加载耗时: XX.XXX s
推理耗时: XX.XXX s
耗时/elapsed: XX.XXX s

样例 2:自定义指令与去噪步数

输入:

python3 inference.py --model_path /home/developer/models/X-VLA-Pt --instruction "open the drawer" --steps 20

输出:

输出 (1, 30, 20) 动作块:每帧 20 维为双臂末端执行器动作 ee6d [xyz(3), rot6D(6), gripper(1)] × 双臂
耗时/elapsed: XX.XXX s

5. Agent适配截图

5.1 Agent适配全过程截图

Agent 适配流程

5.2 NPU设备调用截图

NPU 设备调用

5.3 模型适配结果截图

模型适配结果

6. 注意事项

  • 推理脚本通过 torch_npu 调用 NPU,设备自动选择 npu > cuda > cpu,可用 XVLA_DEVICE 环境变量强制指定;
  • 权重仅从本地 --model_path 加载(local_files_only=True),Florence-2 等自定义建模/预处理代码亦从本地权重目录加载(trust_remote_code),推理全程离线;
  • 模型以 float32 加载(config 中 torch_dtype=float32,约 4GB 显存),全部输入张量(图像、proprio)保持 float32 以兼容 NPU 算子;注意力走 Florence-2 内部默认 sdpa/eager 实现,未使用 flash_attention_2;
  • 动作空间为 ee6d:dim_action=20、num_actions=30(30 步动作块);proprio 维度同为 20;夹爪通道(索引 9/19)经 sigmoid 后处理;domain_id 取值范围 0..29(num_domains=30),不同本体需使用训练时对应的域 ID 才能获得有效策略;
  • 本脚本演示完整 VLA 单步推理链路(多视角图像+指令+本体状态+域ID → 动作块);闭环评测需配合官方仿真/真机环境(GitHub 2toinf/X-VLA)滚动执行;
  • 如有精度差异请与官方仓库输出对比确认。