X-VLA 0.9B (WidowX 版本)

作者： 2toINF | 许可证： Apache 2.0

论文： Zheng et al., 2025, “X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model”（arXiv:2510.10274）

🚀 概述

成功的通用型视觉-语言-动作（VLA） 模型依赖于在多样化机器人平台上利用大规模、跨形态、异构数据集进行有效训练。为促进并利用丰富机器人数据源中的异构性，X-VLA 引入了一种软提示（Soft Prompt）方法，仅需添加极少参数：我们将提示学习概念融入跨形态机器人学习，为每个独特形态引入独立的可学习嵌入集。

这些形态特定提示使 VLA 模型能够有效利用跨形态特征。我们的架构——一种简洁、基于流匹配（flow-matching）的 VLA 设计，完全依赖于软提示标准 Transformer——实现了卓越的可扩展性和简洁性。

在Bridge Data 上训练并在六个仿真环境和三个真实世界机器人上进行评估后，0.9B 参数的 X-VLA 在多种基准测试中同时达到最先进性能，展示了在不同形态、环境和任务中的灵活操作能力与快速适应能力。

🌐 项目网站： https://thu-air-dream.github.io/X-VLA/

⚙️ 使用方法

🔹 加载模型

from transformers import AutoModel

model = AutoModel.from_pretrained(
    "2toINF/X-VLA-WidowX",
    trust_remote_code=True
)

🔹 启动 FastAPI 服务器

from transformers import AutoProcessor
processor = AutoProcessor.from_pretrained("2toINF/X-VLA-WidowX", trust_remote_code=True)
model.run(processor, host="0.0.0.0", port=8000)

🔹 客户端-服务器评估

您可以从我们的 GitHub 运行提供的评估客户端： 👉 2toINF/X-VLA – 客户端与服务器代码

python client_widowx.py   --server_ip <SERVER_IP>   --server_port 8000   --output_dir logs/

每次评估都会在 logs/ 目录下生成任务级别的视频和日志。

🧩 架构

组件	作用
Florence 2 Encoder	视觉-语言表示主干网络（仅编码器）。
SoftPromptedTransformer	使用每个具体化的可学习软提示的流匹配动作去噪器。
Action Hub	定义动作空间、掩码规则、预处理/后处理以及损失函数。

🧪 在 Simpler-Env（WidowX）上的性能

任务（Simpler-WidowX）	勺子	胡萝卜	积木	茄子	平均
视觉匹配（WidowX 机器人）	100	91.7	95.8	95.8	95.8 %
(在 Simpler-Env 中的四个 WidowX 任务上进行评估。)

🧪 在真实世界（WidowX）上的性能

screenshot-20251104-214209

🧠 训练概要

设置	值
Training Data	Bridge Data V2
参数	≈ 0.9 B
动作模式	`ee6d`
精度	BP16
框架	PyTorch + Transformers

🪪 许可证

Copyright 2025 2toINF (https://github.com/2toINF)
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
http://www.apache.org/licenses/LICENSE-2.0

📚 引用

@article{zheng2025x,
  title   = {X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model},
  author  = {Zheng, Jinliang and Li, Jianxiong and Wang, Zhihao and Liu, Dongxiu and Kang, Xirui
             and Feng, Yuchun and Zheng, Yinan and Zou, Jiayin and Chen, Yilun and Zeng, Jia and others},
  journal = {arXiv preprint arXiv:2510.10274},
  year    = {2025}
}

🌐 链接

📄 论文： arXiv 2510.10274
💻 代码及客户端/服务器： GitHub – 2toINF/X-VLA
🤖 模型中心： Hugging Face – 2toINF/X-VLA-0.9B-WidowX