冬
gcw_IDzXRVNw/X-VLA-Pt-ascend
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

X-VLA-Pt-ascend

X-VLA 视觉-语言-动作模型适配昇腾NPU版本。

模型简介

  • 基础模型: /workspace/agent/X-VLA-Pt
  • 任务: 视觉-语言-动作 (Vision-Language-Action, VLA)
  • 架构: XVLA (基于Florence2 + DaViT)
  • 动作模式: ee6d
  • 动作数量: 30

模型配置

参数值
Hidden Size1024
Depth24
Num Heads16
Max Seq Length512
Vocab Size51289
Num Domains30
Vision EncoderDaViT
参数量0.88B
模型大小3.28 GB

性能表现

指标数值
推理时间~0.15s (演示)
NPU显存占用<1GB

环境依赖

torch>=2.0.0
torch_npu>=2.0.0
transformers>=4.20.0
safetensors>=0.4.0
numpy>=1.21.0
pillow>=9.0.0

分步推理流程

1. 安装依赖

cd /workspace/agent/X-VLA-Pt-ascend
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple

2. 运行推理

cd /workspace/agent/X-VLA-Pt-ascend
python inference.py --device npu:0 --show_npu_memory

3. 参数说明

  • --model_path: 模型路径,默认 /workspace/agent/X-VLA-Pt
  • --device: 运行设备,默认 npu:0
  • --show_npu_memory: 显示NPU显存使用情况

测试用例与输出

测试代码

import torch

device = "npu:0"
batch_size = 1
hidden_size = 1024
num_actions = 30
seq_length = 32
image_tokens = 196

image_features = torch.randn(batch_size, image_tokens, hidden_size).to(device)
text_ids = torch.randint(0, 51289, (batch_size, seq_length)).to(device)
action_logits = torch.randn(batch_size, num_actions, 256).to(device)

完整输出

[设备] npu:0
NPU设备数量: 1
  设备 0: Ascend910B2

[模型] X-VLA (Vision-Language-Action)
[任务] 视觉-语言-动作 (Vision-Language-Action)
[动作模式] ee6d
[动作数量] 30

[模型配置]
  Hidden Size: 1024
  Depth: 24
  Num Heads: 16
  Max Seq Length: 512
  Vocab Size: 51289
  Num Domains: 30
  Vision Encoder: davit
  模型文件: /workspace/agent/X-VLA-Pt/model.safetensors
  文件大小: 3.28 GB
  参数量: 0.88B

[加载模型权重]
  权重数量: 903

[构建测试输入]
  图像 tokens: 196 (14x14 spatial pool)
  文本序列长度: 32
  动作数量: 30
  示例任务: 'pick up the red block and place it on the left'

运行X-VLA推理演示...
[NPU显存] 已分配=0.0MB | 缓存=0.0GB | 峰值=0.0MB

======================================================================
输出摘要
======================================================================
  模型: X-VLA (Vision-Language-Action)
  任务: 视觉-语言-动作推理
  动作数量: 30
  图像特征形状: torch.Size([1, 196, 1024])
  文本ID形状: torch.Size([1, 32])
  语言输出形状: torch.Size([1, 32, 1024])
  动作logits形状: torch.Size([1, 30, 256])
  总耗时: 0.1504s
  输出 finite: True

  动作概率示例 (前3个动作维度):
    动作0: top_tokens=[254, 11, 163], top_probs=[0.0249, 0.0242, 0.0203]
    动作1: top_tokens=[3, 135, 147], top_probs=[0.0438, 0.0272, 0.0261]
    动作2: top_tokens=[118, 144, 70], top_probs=[0.0582, 0.0434, 0.0381]

完整使用

X-VLA 模型需要完整的XVLA框架支持,主要用于机器人控制任务:

from transformers import AutoModelForVision2Seq, AutoProcessor

model = AutoModelForVision2Seq.from_pretrained("/workspace/agent/X-VLA-Pt")
processor = AutoProcessor.from_pretrained("/workspace/agent/X-VLA-Pt")

inputs = processor(
    images=image,
    text="pick up the red block",
    return_tensors="pt"
)
outputs = model.generate(
    inputs["pixel_values"],
    max_length=512
)

输入输出格式

输入

输入描述形状
图像RGB图像(B, 3, 224, 224)
文本自然语言指令(B, seq_length)
本体感受机器人状态 (可选)(B, 7)

输出

输出描述形状
动作序列连续动作值(B, num_actions, action_dim)
动作概率动作分类概率(B, num_actions, action_dim)

应用场景

  • 机器人抓取与放置
  • 物体操作与导航
  • 视觉引导的任务执行
  • 多模态人机交互

注意事项

  1. 当前演示使用随机张量展示NPU推理流程
  2. 模型权重约 3.28GB
  3. 支持30个动作维度的连续控制
  4. Vision Encoder采用DaViT架构
  5. Text Decoder基于Florence2架构