g
gcw_StsIRaj1/2toinf-x-vla-libero-npu
模型介绍
文件和版本
Pull Requests
讨论
分析

2toINF/X-VLA-Libero 昇腾 NPU 适配

  • 官方模型池：Phase 4 / Row 52
  • 参赛微信名称：风云游子
  • 参赛 AtomGit ID：@gcw_StsIRaj1
  • 模型来源：https://huggingface.co/2toINF/X-VLA-Libero
  • 官方可达镜像：https://ai.gitcode.com/hf_mirrors/2toINF/X-VLA-Libero
  • 上游许可证：Apache-2.0
  • 推理引擎：official Florence2 + SoftPromptedTransformer + torch_npu
  • 验证硬件：Ascend910 / CANN / torch_npu / npu:0

作品结论

本作品在大赛官方远端 Ascend Model Agent 的 Ascend910 上加载真实 checkpoint，并完成 LIBERO 机器人多任务视觉语言动作策略完整 NPU 前向推理。CPU fallback 被禁止；模型、输入与输出设备信息、权重加载审计、输出统计、软件版本和耗时均固化在 evidence/result.json。

固定官方修订 129e714606 的 3,519,068,172 字节 safetensors 与 SHA-256；严格加载官方 Florence2 视觉语言编码器、24 层 SoftPromptedTransformer 和 Action Hub。879,482,456 个参数、全部输入及 30×20 动作输出全程位于 Ascend NPU。

适配边界

  1. 保留上游模型结构、参数与任务语义，只增加 NPU 设备迁移、必要的版本兼容和证据采集。
  2. 使用确定性合成输入执行最小可复现实验，避免外部数据集和网络波动影响复核。
  3. 加载失败、张量落回 CPU、输出非有限或形状不符时立即失败，不以随机初始化或 CPU 结果替代。
  4. 本作品验证官方权重的昇腾 NPU 前向推理链路可执行，不声称完成训练，也不把烟测统计解释为业务精度。

应用价值与决策边界

  • 目标场景：LIBERO 机器人多任务视觉语言动作策略
  • 输入语义：三路 224×224 图像、8-token 指令、20 维本体状态与 domain id
  • 输出语义：1 × 30 × 20 的有限动作序列
  • 决策支持：验证官方 X-VLA 视觉语言骨干、软提示动作 Transformer 与动作后处理完整通过昇腾 NPU
  • 证据边界：仅证明固定官方 checkpoint 的严格加载与单步 flow action 前向；未复测机器人基准成功率或生产安全性。

运行步骤

远端环境应预先安装版本匹配的 CANN、PyTorch 与 torch_npu，不要用普通 pip install 覆盖官方运行时。

python3 -m pip install -r requirements.txt

PYTHONPATH=vendor/xvla_compat python3 inference.py --model-dir /path/to/model --out outputs/result.json --model-id 2toINF/X-VLA-Libero --revision 129e71460678b7236cee6fc9707f09d9fa0c3590 --expected-bytes 3519068172 --expected-sha256 260cc58869125b826e93bcaa60bca3ea37bcc7aaf893d368a991ca14fde9f0c8
npu-smi info
cat outputs/result.json

实测证据

  • 模型状态设备：npu:0
  • 输入语义：三路 224×224 图像、8-token 指令、20 维本体状态与 domain id
  • 输出形状：[1,30,20]
  • 推理耗时：275.513 ms
  • 权重加载：严格加载通过（0 缺失/0 意外）
  • 设备闭环：模型、输入、输出张量均为 npu:0
  • checkpoint SHA-256：260cc58869125b826e93bcaa60bca3ea37bcc7aaf893d368a991ca14fde9f0c8

evidence/result.json 是机器可读事实源；三张证据图分别呈现 Agent 适配流程、NPU 设备闭环和模型输出结果。

复核清单

  • 真实 checkpoint，非随机初始化
  • 禁止 CPU fallback
  • 模型状态位于 npu:0
  • 输入与输出设备逐字段记录
  • 输出形状和有限性门禁
  • 运行时版本与耗时固化
  • 模型许可证和适配边界明确

Agent适配截图

Agent适配全过程截图

Agent 适配流程

NPU设备调用截图

NPU 设备调用

模型适配结果截图

模型适配结果