为具身世界重新思考视频生成模型
如果您喜欢我们的项目，请在 GitHub 上给我们点亮星星 ⭐，以获取最新更新。
核心特性
- 400 万条机器人视频片段（1 万多小时），用于大规模视频生成训练。
- 1300 多种细粒度机器人技能，涵盖多样化的动作和任务原语。
- 多模态物理标注，包括RGB、深度和光流。
- 多机器人与多任务多样性，跨越不同机器人类型、场景和动作技能。
- 丰富的物体交互，支持复杂且逼真的机器人行为建模。
数据集结构
RoVid-X 以 JSON 格式为每个视频片段提供结构化标注，其中每个条目均按视频文件名进行索引。
📄 JSON Example
{
"5bebd280785add39d0e40cbea9e0c545.mp4": {
"verb": "grab@@place",
"task_caption": "grab the tape and place it into the basket",
"short_caption": "The robotic arm moves toward the tape, grasps it, and places it into the basket.",
"detailed_caption": "The video opens with an overhead view of a table covered with a red-and-white checkered tablecloth in a room equipped with technical devices. On the table..."
}
}下载
您可以使用官方 CLI 直接从 Hugging Face 下载 RoVid-X。
# (Optional) If you are in mainland China, use the Hugging Face mirror
export HF_ENDPOINT=https://hf-mirror.com
# Download the dataset
huggingface-cli download DAGroup-PKU/RoVid-X --local-dir datasets/RoVid-X📚 引用
如果您发现此数据集有用，请引用我们的论文：
@article{deng2026rethinking,
title={Rethinking Video Generation Model for the Embodied World},
author={Deng, Yufan and Pan, Zilin and Zhang, Hongyu and Li, Xiaojie and Hu, Ruoqing and Ding, Yufei and Zou, Yiming and Zeng, Yan and Zhou, Daquan},
journal={arXiv preprint arXiv:2601.15282},
year={2026}
}