本项目由苏州市具身智能机器人综合创新中心发起并开源。在具身智能(Embodied AI)向通用人工智能(AGI)演进的过程中,高质量、多模态的实机交互数据是突破算法泛化瓶颈的核心要素。
本项目通过采集多样化异构机器人平台及真人动作捕捉的作业数据,构建了涵盖人类运动先验与多场景交互的具身数据生态,在真实物理世界中积累了总计 715 小时的多模态实机交互与人类动作捕捉数据。本项目旨在为具身大模型的预训练、动作泛化及相关算法的验证提供真实的实验基座,助力具身智能技术在复杂环境中的应用落地。
本数据集依托涵盖多种运动模态的异构机器人平台(含足式、轮式、人形等形态)及高精度人体动作捕捉系统展开,全面覆盖家庭、工业、商业及非结构化特殊地形等真实场景。数据集核心包含以下维度:
| 传感器类型 | 描述 | 采集频率 |
|---|---|---|
| 视觉(RGB) | 头部及腕部多视角彩色相机 | 30 fps |
| 视觉(深度) | 头部 RGB-D 深度图 | 30 fps |
| 本体感受 | 关节角度、速度、力矩 | 30 fps |
| 空间音频 | 环境音与碰撞声 | — |
| 动作捕捉(BVH) | 全身及指节骨骼轨迹 | 30 fps |
| 场景类别 | 平台 | 数据量 | 存储格式 |
|---|---|---|---|
| 🏠 家庭与精细操作(叠衣服等) | 人形机器人 | 158 小时 | Parquet + MP4 |
| 🏭 大尺度巡检与移动导航 | 人形机器人 / 四足机器狗 | 523 小时 | HDF5 / MP4 / MKV |
| 🧍 高精度人体动作捕捉 | 动捕系统 | 34 小时 | BVH |
| 合计 | 715 小时 |
依托人形机器人平台,聚焦叠衣服、桌面整理等典型非结构化家庭场景。采用主流大模型友好的分块(Chunked)存储格式,提供丰富的双手协同与多视角视觉反馈,适合直接对接 LeRobot 等主流训练框架。
依托人形机器人与四足机器狗平台,覆盖室内外复杂地形的长程巡检、物流包裹分发与环境建图等任务。本体感受数据以 HDF5 格式打包存储,同步配套高帧率 RGB 视频流与深度图,精准记录复杂地形下的底盘动力学态势。
基于高精度人体动作捕捉系统,提供精细化的全身及指节运动轨迹(BVH 格式),为多形态机器人的动作重定向(Retargeting)和模仿学习提供高质量的人类先验信息。
针对不同场景的数据特性,SEAD 数据集采用了两种互补的存储架构,兼顾分布式训练的 I/O 效率与底层多模态特征的完整保留。
将高频状态序列与图像帧分离存储,优化了分布式训练时的 I/O 读取效率:
Household_Clothes_Folding/
├── chunk_000/
│ └── episode_000000/
│ └── images/ # 多视角连续 RGB 图像帧序列
├── data/
│ └── chunk-000/
│ └── episode_000000.parquet # 机器人本体连续状态流(关节角度、速度、力矩等)
└── meta/ # 核心元数据与系统索引
├── episodes.jsonl # 单次任务 (Episode) 的时间戳与基本属性
├── episodes_stats.jsonl
├── info.json # 数据集全局配置与传感器内外参
├── task.json
└── tasks.jsonl # 批量任务索引目录保留原生多媒体格式与空间音频,本体感受高频数据以 HDF5 打包,无损记录底盘与环境的物理交互过程:
Inspection_Navigation/
└── Logistics_20260130_155348/ # 采集批次与时间戳
└── Materialtransfer/ # 宏观任务大类(如:物流流转)
└── Distribute_Parcels/ # 具体子任务
└── 7dcc6d5a-8983.../ # 唯一交互序列 ID (UUID)
├── audio/ # 空间音频流(环境音与碰撞声)
├── camera/
│ ├── depth/
│ │ └── head_front_depth.mkv # 深度图视频流
│ └── video/
│ └── head_front_color.mp4 # RGB 视频流
├── parameters/ # 相机标定参数
└── proprio_stats/
└── proprio_stats.hdf5 # 本体感受高频打包数据本数据集实体托管于 OpenDataLab (书生·浦源)。由于总数据量约为 2.5TB,为确保传输稳定性,请务必使用 openxlab 命令行工具进行下载。
首先,安装数据集管理工具:
pip install -U openxlab根据平台规则,海量数据下载需关联个人账号(完全免费)。请按以下步骤操作:
openxlab loginopenxlab dataset download --dataset-repo sric/SZK --source-path / --target-path ./SEAD_Data您可以根据需要下载特定的子文件夹(请自行预留足够的磁盘空间):
openxlab dataset download --dataset-repo sric/SZK --source-path /G1 --target-path ./SEAD_Dataopenxlab dataset download --dataset-repo sric/SZK --source-path /GO2 --target-path ./SEAD_Dataopenxlab dataset download --dataset-repo sric/SZK --source-path /VLA --target-path ./SEAD_Dataopenxlab dataset download --dataset-repo sric/SZK --source-path /动捕.zip --target-path ./SEAD_Dataopenxlab dataset download --dataset-repo sric/SZK --source-path /智身.zip --target-path ./SEAD_Dataopenxlab dataset download --dataset-repo sric/SZK --source-path /水星 --target-path ./SEAD_Data| 数据类型 | 大小 |
|---|---|
| 宇树 G1 巡检场景 | 974.5GB |
| 宇树 GO2 巡检场景 | 787.5GB |
| 水星机器人精细操作 | 414.2GB |
| 家庭与精细操作 (VLA) | 308GB |
| 高精度人体动作先验 (动捕) | 25.4GB |
| 智身机器人/机器狗巡检 | 23.4GB |
| 全量 | 2.5TB |
* **宇树 GO2 巡检场景数据 (787.5GB):** ```bash
openxlab dataset download --dataset-repo sric/SZK --source-path /GO2 --target-path ./SEAD_Data
* **高精度人体动作先验数据 (25.4GB):** ```bash
openxlab dataset download --dataset-repo sric/SZK --source-path /动捕.zip --target-path ./SEAD_Data
* **水星机器人精细操作场景数据 (414.2GB):** ```bash
openxlab dataset download --dataset-repo sric/SZK --source-path /水星 --target-path ./SEAD_Data💡 温馨提示:
- 请确保本地磁盘剩余空间充足(建议预留 10% 冗余)。
- 若下载中断,重新执行对应指令即可实现断点续传,无需重复下载已完成部分。
## 🛠️ 6. 快速开始 (Quick Start)
### 步骤 1:配置 Conda 环境
```bash
conda create -n sead-env python=3.8
conda activate sead-env
pip install torch torchvision pandas pyarrow h5py opencv-python完整的 DataLoader 脚本位于本仓库
scripts/目录下。
# 示例:读取家庭场景分块数据
from scripts.dataset_loader import SEADHouseholdLoader
dataset = SEADHouseholdLoader(data_dir="./Household_Clothes_Folding")
print(f"Episode 0 length: {len(dataset)}")
image, proprio_state = dataset[0]import h5py
hdf5_path = "Inspection_Navigation/.../proprio_stats/proprio_stats.hdf5"
with h5py.File(hdf5_path, "r") as f:
print("=== 数据集字段列表 ===")
def print_keys(name, obj):
if isinstance(obj, h5py.Dataset):
print(f" {name} shape={obj.shape} dtype={obj.dtype}")
f.visititems(print_keys)查看输出的字段名后,按需读取:
import h5py
import numpy as np
with h5py.File(hdf5_path, "r") as f:
data = np.array(f["<字段名>"]) # 替换为上一步打印出的实际字段名
print(data.shape)提示:不同采集批次的 HDF5 内部字段名可能存在差异,建议先运行第一段代码打印所有可用字段,再按需替换
<字段名>进行读取。
真实环境扰动:本数据集采集自真实物理环境,数据中可能存在传感器抖动、短暂丢帧等情况,请开发者在训练时自行设计相应的容错机制。
安全风险提示:任何利用本数据训练的具身控制策略,在部署到真实物理硬件前,必须经过严格的模拟器测试与安全验证,以防发生不可预期的硬件损坏。
@misc{SEAD2026,
title={Open-source dataset of Suzhou Embodied Artificial Intelligence Robotics Innovation Center},
author={SRIC},
year={2026},
howpublished={\url{https://ai.gitcode.com/sric/sead}}
}本项目数据集采用 Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) 许可协议。
仅供学术研究和非商业用途使用。
我们欢迎开源社区的开发者通过以下方式与我们交流,共同推进具身智能生态的发展:
| 渠道 | 信息 |
|---|---|
| 机构 | 苏州市具身智能机器人综合创新中心 |
| 讨论区 | 请在 GitHub/Gitee 仓库提交 Issue 讨论技术细节 |
| 官方邮箱 | suzhike2025@163.com |