atlasleong/x-vla-libero-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

X-VLA-Libero 昇腾 NPU 推理交付 (Ascend NPU inference delivery)

2toINF/X-VLA-Libero(X-VLA 0.9B Libero Edition)的端到端昇腾 NPU 推理候选。 在物理 npu:2(Ascend910B4-1)上运行真实 checkpoint 前向,输出完整的 30 步 ee6d 动作轨迹。全程不发布、不启动仿真/机器人/服务端。

模型介绍 (Model introduction)

模型 ID:2toINF/X-VLA-Libero

上游来源:https://huggingface.co/2toINF/X-VLA-Libero

不可变修订:129e71460678b7236cee6fc9707f09d9fa0c3590

许可证:Apache-2.0(上游模型卡声明,见源码文件头)

架构(原生 X-VLA LIBERO 严格 checkpoint 路线):

  • Florence-2 编码器(Florence2ForConditionalGeneration,DaViT 视觉塔 + BART-like 语言编码器)
  • SoftPromptedTransformer 流匹配(flow-matching)动作去噪头
  • Action Hub:ee6d 动作空间(dim_action=20,gripper_idx=(9,19),末端夹爪后处理 sigmoid)

关键配置:num_actions=30、num_domains=30、len_soft_prompts=32、use_proprio=True、depth=24。

任务类型:vision-language-action(pipeline_tag: robotics,library_name: transformers)。

权重完整性(严格加载):

项目值
权重文件model.safetensors
字节数3,519,068,172
SHA256260cc58869125b826e93bcaa60bca3ea37bcc7aaf893d368a991ca14fde9f0c8
严格加载张量903(load_state_dict(strict=True) → missing=[] unexpected=[])
参数量879,482,456
绑定嵌入别名vlm.language_model.model.encoder.embed_tokens.weight ← vlm.language_model.model.shared.weight

环境依赖 (Environment dependencies)

本候选在已有 CANN 容器内运行,torch 2.9.0+cpu 与 torch_npu 2.9.0 已匹配安装, 禁止安装或替换为普通 PyPI wheel。

实测版本:

组件版本
Python3.11.14
torch2.9.0+cpu(容器自带,不重装)
torch_npu2.9.0(容器自带,不重装)
transformers5.15.1
safetensors0.8.0
numpy1.26.4
tokenizers0.22.2
Pillow12.3.0
opencv-python-headless4.9.0.80
fastapi / uvicorn / json-numpy0.141.1 / 0.52.4 / 2.1.1
CANN / npu-smi25.5.1
硬件8× Ascend910B4-1,本候选使用物理 npu:2

仅当缺失非 torch 依赖时,使用 Aliyun pip 镜像安装:

pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

注意:requirements.txt 中 torch==2.9.0+cpu / torch-npu==2.9.0 以注释形式记录, 绝不通过 pip 重装,避免破坏 CANN 匹配的框架对。

推理步骤 (Inference steps)

  1. 确认 CANN 环境与 NPU 可见:

    npu-smi info
    python3 -c "import torch, torch_npu; print(torch.npu.device_count(), torch.npu.get_device_name(2))"
  2. 进入交付目录:

    cd /work/pipeline/jobs/rl26/x-vla-libero/x-vla-libero-npu
  3. 校验权重(可选,流式 SHA256):

    sha256sum /work/pipeline/models/rl26/x-vla-libero/model.safetensors
    # 期望:260cc58869125b826e93bcaa60bca3ea37bcc7aaf893d368a991ca14fde9f0c8
  4. 运行一次真实 NPU 推理(前向完全在 npu:2,失败即非零退出):

    python3 inference.py > logs/npu_inference.log 2>&1
    echo "exit=$?"
  5. 查看结构化结果与原始日志:

    cat logs/npu_result.json
    cat logs/npu_smi_during_hold.txt   # 持窗内 npu-smi 的 PID 关联证据

脚本行为:

  • CPU 仅用于编排、哈希校验、反序列化与必要预处理;所有模型参数、数值输入、中间模块与输出均在 npu:2。
  • 严格加载完整 checkpoint;缺失/多余权重、NPU 错误或放置不匹配均非零失败。
  • 10 步线性流匹配去噪 → 输出 [1, num_actions=30, dim_action=20] 动作轨迹。
  • 前向后进入 30 秒持窗,期间用 npu-smi info 关联推理 Python PID 在物理 npu:2 上的显存占用。

完整测试用例与输出 (Complete test case and output)

确定性测试输入(可再分发、合成):

  • 语言指令:pick up the black bowl and place it on the plate(BART tokenizer,[1, 50])
  • 图像:3 个 LIBERO 相机视角的确定性合成 224×224 RGB 图([1, 3, 3, 224, 224])
  • 本体感受:确定性 20 维 EE6D 向量([1, 20])
  • domain_id:0(来自固定 LIBERO 处理管线 XVLAAddDomainIdProcessorStep 默认值)

运行命令:

cd /work/pipeline/jobs/rl26/x-vla-libero/x-vla-libero-npu
python3 inference.py

实际输出(真实运行,确定性):

[2026-08-22T11:10:56] npu device_count=8
[2026-08-22T11:10:56]   npu:2 = Ascend910B4-1
[2026-08-22T11:10:58] contract: model_id=2toINF/X-VLA-Libero engine=torch_npu npu_available=True npu_device_name=Ascend910B4-1
[2026-08-22T11:11:01] artifact bytes=3519068172 sha256=260cc58869125b826e93bcaa60bca3ea37bcc7aaf893d368a991ca14fde9f0c8 (verified in 2.9s)
[2026-08-22T11:11:35] model constructed in 32.4s, params=879,482,456
[2026-08-22T11:11:38] strict load_state_dict: missing=[] unexpected=[]
[2026-08-22T11:11:38] all model parameters on npu:2: OK
[2026-08-22T11:11:39] input devices: {'input_ids': 'npu:2', 'image_input': 'npu:2', 'image_mask': 'npu:2', 'proprio': 'npu:2', 'domain_id': 'npu:2'}
[2026-08-22T11:11:47] generate_actions elapsed_s=7.78
[2026-08-22T11:11:47] output shape=[1, 30, 20] device=npu:2
[2026-08-22T11:11:47] output stats: min=-0.4503 max=0.5709 mean=0.0160 std=0.2279 absmean=0.1756
[2026-08-22T11:11:47] action trajectory (first row): [-0.0377, -0.1313, 0.1995, 0.1125, -0.1990, 0.1346, 0.0421, -0.0167, -0.4503, 0.4032, -0.0512, 0.1860, -0.1696, -0.0370, -0.1805, -0.2177, 0.2699, -0.1672, -0.0017, 0.5671]
[2026-08-22T11:11:47] action trajectory (last  row): [-0.0697, -0.1391, 0.2190, 0.0692, -0.2307, 0.1118, 0.0406, 0.0067, -0.4331, 0.4021, -0.0575, 0.1802, -0.1598, -0.0279, -0.1519, -0.2180, 0.2643, -0.1547, -0.0095, 0.5625]
[2026-08-22T11:11:47] gripper channel[9] every 5 steps (post-sigmoid): 0.4032, 0.4039, 0.4041, 0.4044, 0.4025, 0.4018
[2026-08-22T11:11:47] pid=105072
[2026-08-22T11:12:04] PID CORRELATION on npu:2: pid=105072 name=python3 mem_mb=4294
[2026-08-22T11:12:19] wrote /work/pipeline/jobs/rl26/x-vla-libero/x-vla-libero-npu/logs/npu_result.json (exit_code=0)

PID 会随每次运行变化;最新一次运行的真实 PID 关联记录见 logs/npu_smi_during_hold.txt。

logs/npu_result.json 顶层契约(节选):

{
  "model_id": "2toINF/X-VLA-Libero",
  "engine": "torch_npu",
  "exit_code": 0,
  "npu_available": true,
  "npu_device_name": "Ascend910B4-1",
  "source_revision": "129e71460678b7236cee6fc9707f09d9fa0c3590",
  "input_device": "npu:2",
  "model_device": "npu:2",
  "output_device": "npu:2",
  "output": {
    "task": "vision-language-action flow-matching trajectory",
    "shape": [1, 30, 20],
    "flow_steps": 10,
    "statistics": {"min": -0.450349, "max": 0.570891, "mean": 0.015971, "std": 0.227943, "absmean": 0.175551},
    "elapsed_s": 7.779,
    "pid": 105072
  }
}

限制 (Limitations)

  • 输入为确定性合成 LIBERO 图像/语言/本体张量,不连接仿真环境、真实机器人或服务端。
  • 首次运行包含算子/图编译开销(模型构造约 30–45s);实测 generate_actions 前向约 7.5–7.8s。
  • 本交付仅验证物理 npu:2 上的单卡推理路线,未做多卡或性能调优。

截图 (Screenshots)

  • assets/agent_workflow.png — ModelAgent 工作流(检查/实现/测试/验收)
  • assets/modelagent_live_session.png — 脱敏的 ModelAgent 交互与最终独立验收
  • assets/npu_device_call.png — 真实硬件/工具链与 NPU 放置/进程证据
  • assets/model_result.png — 实际模型输出、耗时与成功状态

校验 (Validation)

# 语法
python3 -m py_compile inference.py models/*.py timm_shim/timm/__init__.py timm_shim/timm/layers/__init__.py
# NPU 环境预检(维护的 checker)
python3 /root/ascend-model-pipeline/upstreams/AscendSkills/ai4s-migration-base/scripts/check_npu_basics.py --device npu:2
# 交付校验(维护的 validator)
python3 /root/ascend-model-pipeline/skills/adapting-models-for-ascend-npu/scripts/validate_delivery.py .
# 校验和
sha256sum -c SHA256SUMS

证据位置 (Evidence locations)

  • 结构化结果:logs/npu_result.json
  • 原始脱敏日志:logs/npu_inference.log
  • npu-smi 持窗进程关联:logs/npu_smi_during_hold.txt
  • 校验和:SHA256SUMS