本文档记录 2toINF/X-VLA-Libero(X-VLA 在 LIBERO 仿真 benchmark 上的 checkpoint,跨本体 Vision-Language-Action 策略模型)在华为昇腾 Ascend NPU 上的适配与真机验证结果。
Florence-2-large 编码器(DaViT 视觉 + BART 文本编码器)作为视觉-语言骨干 + SoftPromptedTransformer(24 层、flow-matching 动作去噪器、按本体注入 soft-prompt)动作头。≈0.88 B(re-tie 编码器共享词嵌入后统计值);dtype 全程 float32。robotics / VLA)。输入 = 3 路相机图像 + 语言指令(+ 本体 proprio 状态 + domain_id 本体编号),输出 = 动作块 [B, num_actions=30, dim_action=20](ee6d 模式:双臂 xyz+6D 旋转+夹爪,夹爪通道 idx 9/19 经 sigmoid 落入 (0,1))。action_mode/dim_action/num_actions/num_domains 全部在运行时从 checkpoint 读取,不硬编码。适配要点:
trust_remote_code=True 的 AutoModel + AutoProcessor(自定义架构 xvla)。modeling_florence2.py 把 _supports_sdpa 写成读取 self.language_model 的 property,在 transformers>=4.5x 的 super().__init__() 阶段该子模块尚未建立 → AttributeError;本适配在实例化前把它改写为普通类属性 True。modeling_xvla.py 相比同族 X-VLA-Pt 缺失 tie_weights 空实现覆盖;XVLA.__init__ 已删掉 Florence 的 decoder/lm_head(VLA 只用编码器),但 from_pretrained 结尾仍调用 model.tie_weights() → get_output_embeddings() 访问已删除的 self.lm_head → AttributeError。本适配在加载前把 XVLA.tie_weights 覆盖为 no-op(对齐同族 X-VLA-Pt 仓库的原意,见 inference.py::_patch_xvla_tie)。tie_weights,导致 encoder.embed_tokens.weight 未从权重加载("newly initialized");该参数在推理路径中不被调用(forward_vlm 只把预融合的 inputs_embeds 送进编码器),但仍手动 tie 到已加载的 model.shared.weight 使计算图完全由权重支撑。steps=10);无 flash-attn 依赖,内部动作 Transformer 使用 F.scaled_dot_product_attention,NPU 直跑。float32、HF32 关闭以保证可复现。相关获取地址:
| 组件 | 版本 |
|---|---|
CANN | 8.5.1 |
torch | 2.9.0+cpu |
torch-npu | 2.9.0.post1 |
transformers | 4.57.6 |
numpy | 1.26.4 |
| 硬件 | Ascend 910 (65GB HBM) · npu:0 |
export PATH=/usr/local/python3.11.14/bin:$PATH # 使用带 torch/torch_npu 的 3.11 解释器
pip install --no-deps fastapi uvicorn json_numpy opencv-python-headless # 见 requirements.txt权重由 inference.py 自包含拉取(HF 镜像 + 关闭 Xet 防截断),缓存到 ~/.cache/models/X-VLA-Libero/。
若手动下载:
from huggingface_hub import snapshot_download
snapshot_download("2toINF/X-VLA-Libero", local_dir="~/.cache/models/X-VLA-Libero",
ignore_patterns=["*.h5","*.msgpack","*.ot","tf_model*","flax_model*","*.onnx","*.tflite"])flock -w 7200 /tmp/npu_card1.lock bash -c '
export PATH=/usr/local/python3.11.14/bin:$PATH
ASCEND_RT_VISIBLE_DEVICES=1 ASCEND_CACHE_PATH=/tmp/ascend_cache_X-VLA-Libero \
ASCEND_PROCESS_LOG_PATH=/tmp/ascend_log ASCEND_WORK_PATH=/tmp/ascend_work \
python inference.py --device npu'Demo 输入为合成 3 路相机图像(np.random.default_rng(0))+ 指令 "pick up the object" + 中性 proprio + domain_id=0。
[X-VLA-Libero] device=npu:0 dtype=torch.float32
[load] params=0.879B action_mode=ee6d dim_action=20 num_actions=30 num_domains=30
[input] input_ids(1, 50), image_input(1, 3, 3, 224, 224), image_mask(1, 3), domain_id(1,), proprio(1, 20)
[OUTPUT] action chunk shape: (1, 30, 20) (batch, num_actions=30, dim_action=20)
[OUTPUT] action[0, t=0] (arm0 xyz|rot6d|grip , arm1 xyz|rot6d|grip):
[-0.0334, -0.1281, 0.209, 0.1122, -0.187, 0.1344, 0.0466, -0.0125, -0.4518, 0.4033, -0.0505, 0.1855, -0.1725, -0.031, -0.1731, -0.2186, 0.2694, -0.1784, 0.0002, 0.5677]
[OUTPUT] gripper channels (sigmoid, idx 9/19): 0.4033 / 0.5677
[OUTPUT] chunk stats: mean=0.0188 std=0.2265 min=-0.4518 max=0.5709动作块形状 [1, 30, 20] 与 ee6d 定义一致;夹爪通道落在 (0,1),其余位姿通道有界有限。
warmup 5 次(剔除首帧编译),计时 20 次;单样本一次完整 flow-matching 去噪为一个动作块。
| 指标 | 数值 |
|---|---|
avg | 188.71 ms |
min | 164.54 ms |
max | 219.58 ms |
p50 | 186.85 ms |
p90 | 208.29 ms |
p95 | 211.10 ms |
| 吞吐 | 5.30 chunks/s |
| 峰值 HBM | 3541.67 MB |
说明:本次测量与另一适配进程共本机(同族
X-VLA-WidowX正在下载权重,占用 host CPU/带宽),稳态看p50/p90;峰值 HBM3541.67 MB在多次运行中完全一致(与同族X-VLA-Pt一致)。
无监督真值(VLA 策略),采用「确定性 + 结构性 + 轨迹平滑性 + 响应性」多证决定性对照随机初始化。以下全部为本机 npu:0(fp32、HF32 关)真跑数字。
Gate 1(加载完整性):unexpected=0,mismatched=0;唯一 missing 项 vlm.language_model.model.encoder.embed_tokens.weight 是被禁用 tie 的死参(推理不调用),已手动 re-tie 到已加载的 model.shared.weight → 有效 0/0/0。
Gate 2(配置落地):config.json 全部关键 key 落到 model.config 实例,逐项一致(action_mode=ee6d、num_actions=30、num_domains=30、hidden_size=1024、depth=24、num_heads=16、len_soft_prompts=32、use_proprio=True)→ ALL OK。
Gate 3(无 GT 多证,torch.manual_seed+torch.npu.manual_seed_all 固定内部去噪噪声):
| 证据 | 结果 |
|---|---|
| 决定性 ×2(bit-exact) | maxdiff = 0.00e+00(两次运行逐元素完全相等) |
| 结构性 | 全部有限;夹爪通道 sigmoid ∈ (0,1)([0.403, 0.571]);非夹爪通道 ` |
| 轨迹平滑性(时间维 TV,越小越平滑) | 预训练 TV=0.0017 vs 随机初始化 TV=0.0471(27.8× 更平滑 → 预训练学到连贯轨迹) |
本体(domain_id)响应性 | 换本体 soft-prompt |Δ|_mean=0.262(对本体编号强响应,动作头 soft-prompt 生效) |
| 指令响应性 | 换指令 |Δ|_mean=0.00344(本 LIBERO checkpoint 对语言指令有弱但非零响应) |
| 首视角图像响应性 | 换图像 |Δ|_mean=0.00042(弱响应) |
| proprio 响应性 | 改本体状态 |Δ|_mean=0.00072(弱响应) |
| 预训练 vs 随机初始化 | 同输入 |Δ|_mean=0.249 显著区分 |
结论:预训练权重在决定性(bit-exact)、结构性(有界夹爪、有限)、轨迹平滑性(27.8× 更平滑)、本体响应性(domain_id 换本体 |Δ|=0.262)四证上均决定性胜出随机初始化对照。
与同族
X-VLA-Pt(预训练 ckpt)的关键差异(本机实测,诚实报告):X-VLA-Pt的 Florence-2BART编码器坍缩,换指令/换图像动作输出|Δ|=0.0(完全不响应),条件全靠domain_id;而本 LIBERO 微调 ckpt 对语言指令/图像有弱但非零响应(instr0.00344、img0.00042),即微调恢复了一部分语义条件通路。主条件仍是domain_id本体 soft-prompt(0.262,强响应)。此差异经同种子逐元素测量得到,如实呈现。



最易踩的坑(本 checkpoint 特有):modeling_xvla.py 缺失 tie_weights no-op,加载即崩。
AutoModel.from_pretrained(..., trust_remote_code=True) 直接抛异常,无法实例化(同族 X-VLA-Pt 无此问题)。AttributeError: 'Florence2LanguageForConditionalGeneration' object has no attribute 'lm_head'(栈顶在 modeling_utils.py ... tie_embeddings_and_encoder_decoder -> get_output_embeddings -> return self.lm_head)。XVLA.__init__ 为 VLA 用途删除了 Florence 的 decoder 与 lm_head(编码器-only),但本仓库的 modeling_xvla.py 相比 X-VLA-Pt 少了 tie_weights 空实现覆盖;transformers 的 from_pretrained 结尾仍调用 model.tie_weights(),进而访问已删除的 lm_head → AttributeError。不是 权重损坏、也不是 NPU 相关。XVLA.tie_weights 覆盖为 no-op(见 inference.py::_patch_xvla_tie),对齐同族 X-VLA-Pt 仓库中原本存在的同名覆盖。次坑:Florence-2 骨干的 _supports_sdpa property 在新版 transformers 下加载即崩。
modeling_florence2.py 把 _supports_sdpa/_supports_flash_attn_2 写成读取 self.language_model.* 的 property;transformers>=4.5x 在基类 __init__ 阶段访问该属性,而此时 language_model 子模块尚未构建 → AttributeError。_supports_sdpa/_supports_flash_attn_2 覆盖为普通类属性 True(见 inference.py::_patch_florence)。注意:不要对顶层 XVLA 传 attn_implementation="sdpa"——XVLA 未声明 SDPA 支持会报另一处 ValueError;内部动作 Transformer 本就无条件用 F.scaled_dot_product_attention。其余事项:
encoder.embed_tokens.weight ... newly initialized 属正常——X-VLA 关闭 tie_weights,该参数推理不调用;已 re-tie 到 model.shared.weight,Gate 1 有效 0/0/0。generate_actions 内部用 torch.randn 采样初始噪声,复现/门禁前需同时 torch.manual_seed 与 torch.npu.manual_seed_all 固定,否则每次输出不同(并非 NPU 非确定性)。float32,全程按 float32 加载与推理;HF32 关闭(torch.npu.conv/matmul.allow_hf32=False)保证可复现。注意 HF32 开关须在 ASCEND_CACHE_PATH 目录已建立后调用,否则伪装成 error 500001(inference.py 于 import 时预建该目录)。fastapi/uvicorn/json_numpy/cv2 为随附 modeling_xvla.py 顶部 import 所需(仅 FastAPI 服务用),本 inference.py 不起服务但需可导入。#NPU #Ascend #torch_npu #robotics #VLA