DOHC 是一个头戴式多摄像头人体运动数据采集数据集，专为类人智能、具身 AI、全身运动理解和模仿学习而设计。
DOHC 数据集源自 Delta Intelligence 开发的 DOHC 头戴式多摄像头人体运动捕捉系统。每个记录片段包含同步的多视角视频流以及全身骨骼/头戴设备位姿数据。
该数据集旨在支持以下领域的研发工作：
与纯第三人称数据集不同，DOHC 结合了第一视角 RGB/鱼眼视图与全局全身骨骼及头戴设备位姿状态，使其适用于在真实环境中从人类示范中学习。
头戴设备旨在从第一视角采集人体全身数据。
| 参数 | 描述 |
|---|---|
| 处理器 | 瑞芯微 RK3588 级处理器 |
| 内存/存储 | 4GB + 32GB / 8GB + 64GB 配置 |
| 连接性 | 双频 Wi-Fi、蓝牙 5.3、Type-C 接口 |
| 音频 | 支持双麦克风及扬声器的音频采集 |
| 电池 | 7.4V 1000mAh |
| 充电 | 专用充电底座 |
| 跟踪精度 | 全身系统空间定位精度约 2 cm 以内 |
| 数据类型 | RGB 图像、IMU 数据、全身骨骼数据、麦克风音频、空间位姿轨迹 |
该数据集以 MCAP 文件格式分发，由两种源格式转换而来：经过处理的 H5 文件和 JPEG 会话文件夹。每个 MCAP 文件存储同步的图像流以及 /dohc/* 主题下的结构化 JSON 消息。
| 划分 | 文件数 | 帧数 |
|---|---|---|
h5 | 6 个 MCAP 文件 | 1,238 帧 |
jpeg | 13 个 MCAP 文件 | 5,248 帧 |
.
├── h5/
│ └── *.mcap # One MCAP per processed H5 file
├── jpeg/
│ └── *.mcap # One MCAP per JPEG session folder
└── manifest.jsonl # Source path, output path, frame count, and image counts per MCAPh5/*.mcap：每个经过处理的 H5 源文件对应转换生成一个 MCAP 文件。jpeg/*.mcap：每个 JPEG 会话文件夹对应转换生成一个 MCAP 文件。manifest.jsonl：包含每个 MCAP 的源路径、输出路径、帧数以及图像数量。每个 MCAP 包含以下 /dohc/* 主题的子集：
| 主题 | 编码 | 描述 |
|---|---|---|
/dohc/metadata | JSON | 片段级元数据。通常每个 MCAP 包含一条消息。 |
/dohc/state | JSON | 帧对齐的头显状态，包括位姿和运动信息。 |
/dohc/skeleton | JSON | 帧对齐的全身骨骼数据。在提供的样本中，JPEG 会话 MCAP 中包含此主题。 |
/dohc/cam0/jpeg | JPEG | 主前置 RGB 摄像头流。 |
/dohc/cam1/jpeg | JPEG | 左前 RGB/广角摄像头流。 |
/dohc/cam2/jpeg | JPEG | 右前 RGB/广角摄像头流。 |
/dohc/t265_left/jpeg | JPEG | 左侧灰度追踪/鱼眼摄像头流。 |
/dohc/t265_right/jpeg | JPEG | 右侧灰度追踪/鱼眼摄像头流。 |
从概念上讲，每个片段提供以下内容：
视觉观测
/dohc/cam0/jpeg/dohc/cam1/jpeg、/dohc/cam2/jpeg/dohc/t265_left/jpeg、/dohc/t265_right/jpeg结构化状态与标注数据
/dohc/metadata/dohc/state/dohc/skeleton（若可用）所有图像流均以 JPEG 消息形式存储在 MCAP 主题中。以下主题名称与“片段模态”部分相对应。
/dohc/cam0/jpeg — 主 RGB 摄像头cam0 是主前置 RGB 摄像头流。它通常用作人类观察、人体检测、关键点检测、姿态估计和动作分割的主要视觉输入。
| 字段 | 值 |
|---|---|
| 主题 | /dohc/cam0/jpeg |
| 类型 | RGB |
| 帧率 | 30 FPS |
| 分辨率 | 1920 × 1080 |
典型用途：
摄像头参数：
Camera matrix:
[[283.936956, 0. , 953.207147],
[ 0. , 284.022358, 532.647632],
[ 0. , 0. , 1. ]]
Distortion coefficients:
[-0.02257256, 0.00926648, -0.0111663, 0.00267249]/dohc/cam1/jpeg / /dohc/cam2/jpeg — 左侧和右侧 RGB / 广角摄像头cam1 和 cam2 分别为左前和右前 RGB / 广角摄像头流。它们为多视角人体观察和场景理解提供了额外的视角。
| 字段 | 值 |
|---|---|
| 话题 | /dohc/cam1/jpeg, /dohc/cam2/jpeg |
| 类型 | RGB |
| 帧率 | 30 FPS |
| 分辨率 | 1280 × 720 |
典型用途：
/dohc/t265_left/jpeg / /dohc/t265_right/jpeg — 左侧和右侧追踪摄像头t265_left 和 t265_right 是灰度鱼眼式追踪摄像头流。它们主要用于视觉里程计、SLAM 相关的视觉特征分析、头显运动观察以及同步检查。
| 字段 | 值 |
|---|---|
| 话题 | /dohc/t265_left/jpeg, /dohc/t265_right/jpeg |
| 类型 | 灰度 |
| 帧率 | 30 FPS |
| 分辨率 | 848 × 800 |
典型用途：
摄像头参数：
Camera matrix:
[[426.11546713, 0. , 657.06272437],
[ 0. , 427.85036814, 355.11072595],
[ 0. , 0. , 1. ]]
Distortion coefficients:
[0.18449862, -0.13104704, 0.0027557, -0.00128653, -0.03698853]DOHC 将全身骨骼和头显运动信息存储为 MCAP 话题，而非独立的 NPZ 文件。
| 话题 | 描述 |
|---|---|
/dohc/metadata | 每段情节的元数据，包括来源信息和录制级属性 |
/dohc/state | 头显状态，包括平移、旋转、速度、角速度和加速度 |
/dohc/skeleton | 帧对齐的全身骨骼数据 |
/dohc/skeleton — 全身骨骼骨骼话题提供帧对齐的 3D 全身关节位置，采用 24 关节 SMPL 风格布局。
| 字段 | 值 |
|---|---|
| 话题 | /dohc/skeleton |
| 骨骼布局 | SMPL 风格 24 关节人体骨骼 |
| 坐标格式 | 3D 关节坐标 [x, y, z] |
| 形状概念 | (frame_num, 24, 3) |
| 对齐方式 | 与图像话题帧对齐 |
关节顺序如下：
| 索引 | 关节名称 |
|---|---|
| 0 | pelvis |
| 1 | left_hip |
| 2 | right_hip |
| 3 | spine1 |
| 4 | left_knee |
| 5 | right_knee |
| 6 | spine2 |
| 7 | left_ankle |
| 8 | right_ankle |
| 9 | spine3 |
| 10 | left_foot |
| 11 | right_foot |
| 12 | neck |
| 13 | left_collar |
| 14 | right_collar |
| 15 | head |
| 16 | left_shoulder |
| 17 | right_shoulder |
| 18 | left_elbow |
| 19 | right_elbow |
| 20 | left_wrist |
| 21 | right_wrist |
| 22 | left_hand |
| 23 | right_hand |
常见的骨骼连接：
SMPL_BONES = [
(0, 1), (0, 2), (0, 3),
(1, 4), (4, 7), (7, 10),
(2, 5), (5, 8), (8, 11),
(3, 6), (6, 9), (9, 12), (12, 15),
(12, 13), (13, 16), (16, 18), (18, 20), (20, 22),
(12, 14), (14, 17), (17, 19), (19, 21), (21, 23),
]典型用法：
/dohc/state — 头显状态状态话题描述头显在全局坐标系中的位姿和运动状态。
| 字段 | 形状概念 | 描述 |
|---|---|---|
pose_translation | (frame_num, 3) | 头显全局平移 [x, y, z] |
pose_rotation | (frame_num, 4) | 头显全局旋转四元数 [qx, qy, qz, qw] |
pose_velocity | (frame_num, 3) | 头显线速度 [vx, vy, vz] |
pose_angular_velocity | (frame_num, 3) | 头显角速度 [wx, wy, wz] |
pose_acceleration | (frame_num, 3) | 头显线加速度 [ax, ay, az] |
这些字段可用于头显轨迹分析、运动平滑性检查、传感器融合研究以及与图像和骨骼话题的对齐。
所有话题旨在通过帧索引或时间戳进行对齐：
/dohc/cam0/jpeg[f]
<-> /dohc/cam1/jpeg[f]
<-> /dohc/cam2/jpeg[f]
<-> /dohc/t265_left/jpeg[f]
<-> /dohc/t265_right/jpeg[f]
<-> /dohc/skeleton[f]
<-> /dohc/state[f]如您有任何问题、反馈或合作需求，请联系：
微信公众号：
本数据集通过Delta Intelligence数据采集系统收集，该系统专为类人智能、具身AI及全身人体运动数据采集而设计。