s
sric/苏州市具身智能机器人综合创新中心开源数据集
Datasets
Dataset viewer
Files & versions
Pull Requests
Discussion

🤖 苏州市具身智能机器人综合创新中心开源数据集 (SEAD)

License: CC BY-NC 4.0 Data Volume: 784 Hours Modality: Multi-modal

📖 1. 项目简介 (Introduction)

本项目由苏州市具身智能机器人综合创新中心发起并开源。在具身智能(Embodied AI)向通用人工智能(AGI)演进的过程中,高质量、多模态的实机交互数据是突破算法泛化瓶颈的核心要素。

本项目通过采集多样化异构机器人平台及真人动作捕捉的作业数据,构建了涵盖人类运动先验与多场景交互的具身数据生态,在真实物理世界中积累了总计 715 小时的多模态实机交互与人类动作捕捉数据。本项目旨在为具身大模型的预训练、动作泛化及相关算法的验证提供真实的实验基座,助力具身智能技术在复杂环境中的应用落地。


🌟 2. 核心特性与场景 (Key Features & Scenarios)

本数据集依托涵盖多种运动模态的异构机器人平台(含足式、轮式、人形等形态)及高精度人体动作捕捉系统展开,全面覆盖家庭、工业、商业及非结构化特殊地形等真实场景。数据集核心包含以下维度:

  • 多模态感知数据:同步采集多视角 RGB-D 视觉流、环境音频及机器人本体感受数据。通过时钟同步确保感知与动作的精确对齐,支持开发者灵活调取不同维度的信息要素。
  • 高精度动作先验:提供基于精细化骨骼建模的真人动捕序列(BVH),涵盖全身及指节细粒度运动轨迹,为机器人的动作重定向与全身协同控制研究提供高质量人体运动先验。
  • 丰富的任务场景:涵盖抓取、放置、叠衣服等家庭精细操作,以及复杂地形巡检、物流包裹分发等移动导航任务,匹配详细任务描述,支持模型学习任务的拆解逻辑与决策边界。
  • 物理环境参数:提供必要的环境描述与相机标定参考,支持算法在从标准室内到特殊地形(碎石、楼梯、草地)等多样化环境中的泛化验证。

传感器配置与采集规格

传感器类型描述采集频率
视觉(RGB)头部及腕部多视角彩色相机30 fps
视觉(深度)头部 RGB-D 深度图30 fps
本体感受关节角度、速度、力矩30 fps
空间音频环境音与碰撞声—
动作捕捉(BVH)全身及指节骨骼轨迹30 fps

📊 3. 数据规模(Data Statistics)

场景类别平台数据量存储格式
🏠 家庭与精细操作(叠衣服等)人形机器人158 小时Parquet + MP4
🏭 大尺度巡检与移动导航人形机器人 / 四足机器狗523 小时HDF5 / MP4 / MKV
🧍 高精度人体动作捕捉动捕系统34 小时BVH
合计715 小时

🏠 家庭与精细操作场景(158 小时)

依托人形机器人平台,聚焦叠衣服、桌面整理等典型非结构化家庭场景。采用主流大模型友好的分块(Chunked)存储格式,提供丰富的双手协同与多视角视觉反馈,适合直接对接 LeRobot 等主流训练框架。

🏭 大尺度巡检与移动导航场景(523 小时)

依托人形机器人与四足机器狗平台,覆盖室内外复杂地形的长程巡检、物流包裹分发与环境建图等任务。本体感受数据以 HDF5 格式打包存储,同步配套高帧率 RGB 视频流与深度图,精准记录复杂地形下的底盘动力学态势。

🧍 高精度人体动作先验(34 小时)

基于高精度人体动作捕捉系统,提供精细化的全身及指节运动轨迹(BVH 格式),为多形态机器人的动作重定向(Retargeting)和模仿学习提供高质量的人类先验信息。


📂 4. 数据结构与存储规范 (Data Organization)

针对不同场景的数据特性,SEAD 数据集采用了两种互补的存储架构,兼顾分布式训练的 I/O 效率与底层多模态特征的完整保留。

4.1 家庭精细操作场景(类 LeRobot 标准化分块格式)

将高频状态序列与图像帧分离存储,优化了分布式训练时的 I/O 读取效率:

Household_Clothes_Folding/
├── chunk_000/
│   └── episode_000000/
│       └── images/              # 多视角连续 RGB 图像帧序列
├── data/
│   └── chunk-000/
│       └── episode_000000.parquet  # 机器人本体连续状态流(关节角度、速度、力矩等)
└── meta/                        # 核心元数据与系统索引
    ├── episodes.jsonl           # 单次任务 (Episode) 的时间戳与基本属性
    ├── episodes_stats.jsonl
    ├── info.json                # 数据集全局配置与传感器内外参
    ├── task.json
    └── tasks.jsonl              # 批量任务索引目录

4.2 巡检与移动导航场景(高保真全模态连续流)

保留原生多媒体格式与空间音频,本体感受高频数据以 HDF5 打包,无损记录底盘与环境的物理交互过程:

Inspection_Navigation/
└── Logistics_20260130_155348/         # 采集批次与时间戳
    └── Materialtransfer/              # 宏观任务大类(如:物流流转)
        └── Distribute_Parcels/        # 具体子任务
            └── 7dcc6d5a-8983.../      # 唯一交互序列 ID (UUID)
                ├── audio/             # 空间音频流(环境音与碰撞声)
                ├── camera/
                │   ├── depth/
                │   │   └── head_front_depth.mkv   # 深度图视频流
                │   └── video/
                │       └── head_front_color.mp4   # RGB 视频流
                ├── parameters/        # 相机标定参数
                └── proprio_stats/
                    └── proprio_stats.hdf5         # 本体感受高频打包数据

📥 5. 数据获取 (Data Access)

本数据集实体托管于 OpenDataLab (书生·浦源)。由于总数据量约为 2.5TB,为确保传输稳定性,请务必使用 openxlab 命令行工具进行下载。

5.1 环境配置

首先,安装数据集管理工具:

pip install -U openxlab

5.2 身份鉴权 (Access Configuration)

根据平台规则,海量数据下载需关联个人账号(完全免费)。请按以下步骤操作:

  1. 登录 OpenDataLab 密钥管理 获取您个人专属的 Access Key 和 Secret Key。
  2. 在终端执行登录指令(注意:粘贴 Secret Key 时屏幕不显示字符,直接回车即可):
openxlab login

5.3 数据下载指令

全量下载 (2.5TB)

openxlab dataset download --dataset-repo sric/SZK --source-path / --target-path ./SEAD_Data

分文件夹按需下载

您可以根据需要下载特定的子文件夹(请自行预留足够的磁盘空间):

宇树 G1 巡检场景数据 (974.5GB)

openxlab dataset download --dataset-repo sric/SZK --source-path /G1 --target-path ./SEAD_Data

宇树 GO2 巡检场景数据 (787.5GB)

openxlab dataset download --dataset-repo sric/SZK --source-path /GO2 --target-path ./SEAD_Data

家庭与精细操作场景数据 (308GB)

openxlab dataset download --dataset-repo sric/SZK --source-path /VLA --target-path ./SEAD_Data

高精度人体动作先验数据 (25.4GB)

openxlab dataset download --dataset-repo sric/SZK --source-path /动捕.zip --target-path ./SEAD_Data

智身机器人/机器狗巡检场景数据 (23.4GB)

openxlab dataset download --dataset-repo sric/SZK --source-path /智身.zip --target-path ./SEAD_Data

水星机器人精细操作场景数据 (414.2GB)

openxlab dataset download --dataset-repo sric/SZK --source-path /水星 --target-path ./SEAD_Data

数据规模汇总

数据类型大小
宇树 G1 巡检场景974.5GB
宇树 GO2 巡检场景787.5GB
水星机器人精细操作414.2GB
家庭与精细操作 (VLA)308GB
高精度人体动作先验 (动捕)25.4GB
智身机器人/机器狗巡检23.4GB
全量2.5TB
  • 宇树 G1 巡检场景数据 (974.5GB): ```bash openxlab dataset download --dataset-repo sric/SZK --source-path /G1 --target-path ./SEAD_Data

* **宇树 GO2 巡检场景数据 (787.5GB):** ```bash
openxlab dataset download --dataset-repo sric/SZK --source-path /GO2 --target-path ./SEAD_Data
  • 家庭与精细操作场景数据 (308GB): ```bash openxlab dataset download --dataset-repo sric/SZK --source-path /VLA --target-path ./SEAD_Data

* **高精度人体动作先验数据 (25.4GB):** ```bash
openxlab dataset download --dataset-repo sric/SZK --source-path /动捕.zip --target-path ./SEAD_Data
  • 智身机器人/机器狗巡检场景数据 (23.4GB): ```bash openxlab dataset download --dataset-repo sric/SZK --source-path /智身.zip --target-path ./SEAD_Data

* **水星机器人精细操作场景数据 (414.2GB):** ```bash
openxlab dataset download --dataset-repo sric/SZK --source-path /水星 --target-path ./SEAD_Data

💡 温馨提示:

  1. 请确保本地磁盘剩余空间充足(建议预留 10% 冗余)。
  2. 若下载中断,重新执行对应指令即可实现断点续传,无需重复下载已完成部分。


## 🛠️ 6. 快速开始 (Quick Start)

### 步骤 1:配置 Conda 环境

```bash
conda create -n sead-env python=3.8
conda activate sead-env
pip install torch torchvision pandas pyarrow h5py opencv-python

步骤 2a:读取家庭场景数据(Parquet 格式)

完整的 DataLoader 脚本位于本仓库 scripts/ 目录下。

# 示例:读取家庭场景分块数据
from scripts.dataset_loader import SEADHouseholdLoader

dataset = SEADHouseholdLoader(data_dir="./Household_Clothes_Folding")
print(f"Episode 0 length: {len(dataset)}")
image, proprio_state = dataset[0]

步骤 2b:读取巡检场景本体感受数据(HDF5 格式)

import h5py

hdf5_path = "Inspection_Navigation/.../proprio_stats/proprio_stats.hdf5"

with h5py.File(hdf5_path, "r") as f:
    print("=== 数据集字段列表 ===")
    def print_keys(name, obj):
        if isinstance(obj, h5py.Dataset):
            print(f"  {name}  shape={obj.shape}  dtype={obj.dtype}")
    f.visititems(print_keys)

查看输出的字段名后,按需读取:

import h5py
import numpy as np

with h5py.File(hdf5_path, "r") as f:
    data = np.array(f["<字段名>"])  # 替换为上一步打印出的实际字段名
    print(data.shape)

提示:不同采集批次的 HDF5 内部字段名可能存在差异,建议先运行第一段代码打印所有可用字段,再按需替换 <字段名> 进行读取。


⚖️ 7. 免责声明 (Disclaimer)

  • 真实环境扰动:本数据集采集自真实物理环境,数据中可能存在传感器抖动、短暂丢帧等情况,请开发者在训练时自行设计相应的容错机制。

  • 安全风险提示:任何利用本数据训练的具身控制策略,在部署到真实物理硬件前,必须经过严格的模拟器测试与安全验证,以防发生不可预期的硬件损坏。


📝 引用

Atomgit AI 引用

@misc{SEAD2026,
    title={Open-source dataset of Suzhou Embodied Artificial Intelligence Robotics Innovation Center},
    author={SRIC},
    year={2026},
    howpublished={\url{https://ai.gitcode.com/sric/sead}}
}

📜 8. 许可协议 (License)

本项目数据集采用 Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) 许可协议。

仅供学术研究和非商业用途使用。

License: CC BY-NC 4.0


📬 9. 联系我们 (Contact Us)

我们欢迎开源社区的开发者通过以下方式与我们交流,共同推进具身智能生态的发展:

渠道信息
机构苏州市具身智能机器人综合创新中心
讨论区请在 GitHub/Gitee 仓库提交 Issue 讨论技术细节
官方邮箱suzhike2025@163.com