模型适配 · VLA 强化学习机器人策略 (Vision-Language-Action) · 昇腾 NPU
Beta 版本头信息
{hardware NPU}ee6d 动作空间:位置 + 6D 旋转 + 夹爪),适用于强化学习 / 模仿学习部署。projection_dim=1024)ee6d(dim_action=20,gripper_idx=(9,19),位置 XYZ_SCALE=500、旋转 ROT_SCALE=10、夹爪 sigmoid)[30, 20] 归一化动作序列(末端 xyz / 6D 旋转 / 夹爪开合)modeling_florence2.py / modeling_xvla.py / transformer.py / action_hub.py / processing_xvla.py / 两个 configuration)已 vendor 进 xvla/ 包,自包含可离线加载,不依赖 trust_remote_code 或外网。Florence2PreTrainedModel._supports_sdpa / _supports_flash_attn_2 由 property 委托改为带 getattr 守卫,避免 __init__ 期间 language_model 尚未赋值导致 AttributeError;Florence2LanguageForConditionalGeneration.get_output_embeddings 加守卫(XVLA 裁剪了 decoder/lm_head,tie_weights() 不再报错)。generate_actions 去噪循环并支持 --seed 注入同一初始噪声,保证 CPU/NPU 逐位可比。# Python 3.11 + CANN 8.5.1 + torch_npu 2.9.0.post1
pip install torch==2.9.0 torch_npu==2.9.0.post1 -i https://mirrors.aliyun.com/pypi/simple/
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/权重约 3.5GB(model.safetensors,sha256 fb5e3d58...c4a7f),三路通道任选:
# 通道一:AtomGit 镜像(gitcode LFS,约 16MB/s)
git clone https://gitcode.com/hf_mirrors/2toINF/X-VLA-WidowX.git /tmp/models/X-VLA-WidowX
# 通道二:HF 镜像(hf-mirror)
HF_ENDPOINT=https://hf-mirror.com python -c "
from huggingface_hub import snapshot_download
snapshot_download('2toINF/X-VLA-WidowX', local_dir='/tmp/models/X-VLA-WidowX')
"
# 通道三:ModelScope(若镜像已收录)
# python -c "from modelscope import snapshot_download; snapshot_download('2toINF/X-VLA-WidowX', local_dir='/tmp/models/X-VLA-WidowX')"注意:本项目目录仅含代码与文档,权重不随仓分发,推理时通过
--model-dir指向本地权重目录。
python3 inference.py --model-dir /tmp/models/X-VLA-WidowX \
--image assets/demo_widowx.png --instruction "push the can to the right" \
--device npu:1 --seed 42python3 inference.py --model-dir /tmp/models/X-VLA-WidowX --synthetic-demo --device npu:1python3 inference.py --model-dir /tmp/models/X-VLA-WidowX --synthetic-demo \
--device npu:1 --seed 42 --compare| 指标 | 结果 |
|---|---|
| 设备 | Ascend 910 (npu:1),torch_npu 2.9.0.post1,CANN 8.5.1 |
| 推理时延 | 172.8 ms / 次(10 步 flow-matching 去噪,fp32) |
| CPU 对照时延 | 35445.9 ms / 次 |
| CPU vs NPU cosine 相似度 | 0.99999959 |
| CPU vs NPU max abs error | 2.18e-03(动作量纲 1e-2,误差 3 个量级以下) |
| 输出形状 | (30, 20) 动作序列(30 步 × 20 维 ee6d) |
generate_actions 输出 20 维 ee6d 动作向量,通道布局:
[0:3] — 末端位置 xyz(归一化,XYZ_SCALE=500)[3:9] — 6D 旋转表示[9] — 夹爪 logits(postprocess 后经 sigmoid → 0~1 开合度)[10:13] / [13:19] / [19] — 第二组动作通道(双 gripper 布局,gripper_idx=(9,19))动作序列保存至 /tmp/xvla_action.npy,可直接供机器人执行器消费。
X-VLA-WidowX/
├── inference.py # 推理脚本(torch_npu 直接加载 + flow-matching 去噪 + CPU 对比)
├── README.md # 部署说明文档
├── requirements.txt # 环境依赖清单
├── xvla/ # vendored 模型代码包(自包含,离线加载)
│ ├── modeling_xvla.py / modeling_florence2.py / transformer.py
│ ├── action_hub.py / processing_xvla.py
│ └── configuration_xvla.py / configuration_florence2.py
└── assets/ # 截图素材(agent_workflow.png / npu_device_call.png / model_result.png)模型自带 FastAPI 服务(XVLA._build_app / run),可启动 HTTP 服务化推理:
from xvla import XVLA, XVLAConfig, XVLAProcessor
model = XVLA.from_pretrained("/tmp/models/X-VLA-WidowX").to("npu:1")
processor = XVLAProcessor.from_pretrained("/tmp/models/X-VLA-WidowX")
model.run(processor, host="0.0.0.0", port=8000)
# POST /act {"image0": ..., "language_instruction": "...", "proprio": [...], "domain_id": 0}