代码仓库： 2toINF/X-VLA
作者： 2toINF | 许可证： Apache 2.0
论文： Zheng et al., 2025, “X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model”（arXiv:2510.10274）
成功的通用型视觉-语言-动作（VLA） 模型依赖于在多样化机器人平台上利用大规模、跨载体、异构数据集进行有效训练。 为了促进并充分利用丰富机器人数据源中的异构性，X-VLA 引入了一种软提示（Soft Prompt）方法，仅需添加极少参数：我们将提示学习的理念融入跨载体机器人学习中，为每个独特的载体引入独立的可学习嵌入集。
这些特定于载体的提示使 VLA 模型能够有效利用跨载体特征。我们的架构——一种简洁、基于流匹配（flow-matching）的 VLA 设计，完全依赖于软提示增强的标准 Transformer——实现了卓越的可扩展性和简洁性。
在Bridge Data上训练并在六个仿真环境和三个真实世界机器人上进行评估后，拥有 0.9B 参数的 X-VLA 在各类基准测试中同时达到了最先进性能，展现出在不同载体、环境和任务间的灵活操作能力与快速适应能力。
🌐 项目网站： https://thu-air-dream.github.io/X-VLA/
from transformers import AutoModel
model = AutoModel.from_pretrained(
"2toINF/X-VLA-WidowX",
trust_remote_code=True
)from transformers import AutoProcessor
processor = AutoProcessor.from_pretrained("2toINF/X-VLA-WidowX", trust_remote_code=True)
model.run(processor, host="0.0.0.0", port=8000)您可以从我们的 GitHub 运行提供的评估客户端： 👉 2toINF/X-VLA – Client & Server Code
| 组件 | 作用 |
|---|---|
| Florence 2 Encoder | 视觉-语言表示主干（仅编码器）。 |
| SoftPromptedTransformer | 使用每个具体化的可学习软提示的流匹配动作去噪器。 |
| Action Hub | 定义动作空间、掩码规则、预处理/后处理以及损失函数。 |
| 设置 | 值 |
|---|---|
| Training Data | 异构数据集 |
| Parameters | ≈ 0.9 B |
| Action Mode | ee6d |
| Precision | BP16 |
| Framework | PyTorch + Transformers |
Copyright 2025 2toINF (https://github.com/2toINF)
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
http://www.apache.org/licenses/LICENSE-2.0@article{zheng2025x,
title = {X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model},
author = {Zheng, Jinliang and Li, Jianxiong and Wang, Zhihao and Liu, Dongxiu and Kang, Xirui
and Feng, Yuchun and Zheng, Yinan and Zou, Jiayin and Chen, Yilun and Zeng, Jia and others},
journal = {arXiv preprint arXiv:2510.10274},
year = {2025}
}