白虎-VTouch 数据集

白虎-VTouch 数据集是一个跨本体视触觉多模态的机器人操作数据集，针对多平台系统构建。

主要特点✨

数据集涵盖多个模态，包含视触觉传感器数据、RGB-D数据、关节位姿数据等
涵盖了多款机器人本体，包括国地中心青龙、国地中心轮臂、手持式pika夹爪。这些平台涵盖了全尺寸人形机器人、类人形轮式机器人以及手持式智能终端多种本体构型，展现了其广泛适用性。
使用“矩阵式”任务构建方法，围绕家居家政、餐饮服务、工业制造、特种作业四大类真实场景，涵盖100+原子技能，全面覆盖机器人在现实生活和生产中的关键应用领域

数据格式

白虎-VTouch 数据集按照 {任务名称}/${机器人构型}/${唯一episode_id}.h5 结构来存储，基本存储格式为HDF5格式文件。

左手相机	头部相机	右手相机

左手触觉传感器（左）	左手触觉传感器（右）	右手触觉传感器（左）	右手触觉传感器（右）

数据统计

应用场景

数据量统计(GB)

数据量统计(条)

数据集格式说明🔥

国地中心青龙

cameras  // 相机数据
│   ├── hand\_left // 左手相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   ├── hand\_right // 右手相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   ├── head // 头部相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   │   ├── depth // 深度图像信息
│   │   │   ├── data // 深度数据
joints  // 关节数据
│   ├── action // 关节期望值
│   │   ├── arm // 机械臂
│   │   |   ├── position // N(行)\*14(列)；
│   │   ├── effector // 末端
│   │   |   ├── position // N(行)\*2(列)；
│   │   ├── head // 头部
│   │   |   ├── position // N(行)\*2(列)；
│   │   ├── leg // 腿
│   │   |   ├── postion // N(行)\*12(列)；
│   │   ├── waist // 腰部
│   │   |   ├── position // N(行)\*3(列)；
│   ├── state // 关节实际值
│   │   ├── arm // 机械臂
│   │   |   ├── effort // N(行)\*14(列)；
│   │   |   ├── position // N(行)\*14(列)；
│   │   |   ├── velocity // N(行)\*14(列)；
│   │   ├── effector // 末端
│   │   |   ├── position // N(行)\*2(列)；
│   │   ├── head // 头部
│   │   |   ├── effort // N(行)\*2(列)；
│   │   |   ├── position // N(行)\*2(列)；
│   │   |   ├── velocity // N(行)\*2(列)；
│   │   ├── leg // 腿
│   │   |   ├── effort // N(行)\*12(列)；
│   │   |   ├── position // N(行)\*12(列)；
│   │   |   ├── velocity // N(行)\*12(列)；
│   │   ├── waist // 腰部
│   │   |   ├── effort // N(行)\*3(列)；
│   │   |   ├── position // N(行)\*3(列)；
│   │   |   ├── velocity // N(行)\*3(列)；
tactile  // 触觉信息
│   ├── hand\_left //左手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
│   ├── hand\_right //右手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
parameters  // 传感器参数
│   ├── camera //
│   |   ├── hand\_left.json // 左手相机参数，包括内参、外参
│   |   ├── hand\_right.json // 右手相机参数，包括内参、外参
│   |   ├── head.json // 头部相机参数，包括内参、外参
metadata.json //元数据信息，包含采集设备、末端类型、相机帧率、关节信息等

国地中心轮臂

cameras  // 相机数据
│   ├── hand\_left // 左手相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   ├── hand\_right // 右手相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   ├── head // 头部相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   │   ├── depth // 深度图像信息
│   │   │   ├── data // 深度数据
│   │   ├── ir\_left // 左目红外信息
│   │   │   ├── data // 红外数据
│   │   ├── ir\_right // 右目红外信息
│   │   │   ├── data // 红外数据
joints  // 关节数据
│   ├── action // 关节期望值
│   │   ├── arm // 机械臂
│   │   |   ├── position // N(行)\*14(列)；
│   │   ├── effector // 末端
│   │   |   ├── position // N(行)\*2(列)；
│   │   ├── robot // 机体
│   │   |   ├── velocity // N(行)\*2(列)；
│   │   ├── waist // 腰部
│   │   |   ├── position // N(行)\*2(列)；
│   ├── state // 关节实际值
│   │   ├── arm // 机械臂
│   │   |   ├── position // N(行)\*14(列)；
│   │   ├── effector // 末端
│   │   |   ├── position // N(行)\*2(列)；
│   │   ├── robot // 机体
│   │   |   ├── velocity // N(行)\*2(列)；
│   │   ├── waist // 腰部
│   │   |   ├── position // N(行)\*2(列)；
tactile  // 触觉信息
│   ├── hand\_left //左手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
│   ├── hand\_right //右手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
parameters  // 传感器参数
│   ├── camera //
│   |   ├── hand\_left.json // 左手相机参数，包括内参、外参
│   |   ├── hand\_right.json // 右手相机参数，包括内参、外参
│   |   ├── head.json // 头部相机参数，包括内参、外参
metadata.json //元数据信息，包含采集设备、末端类型、相机帧率、关节信息等

手持式Pika

cameras  // 相机数据
│   ├── fisheye\_left // 左手鱼眼相机
│   │   ├── color // RGB图像信息
│   ├── fisheye\_right // 右手鱼眼相机
│   │   ├── color // RGB图像信息
│   ├── hand\_left // 左手相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   │   ├── depth // 深度图像信息
│   │   │   ├── data // 深度数据
│   ├── hand\_right // 右手相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   │   ├── depth // 深度图像信息
│   │   │   ├── data // 深度数据
joints  // 关节数据
│   ├── state // 关节实际值
│   │   ├── effector // 夹爪
│   │   |   ├── position // N\*2\*6；
│   │   ├── end // 末端
│   │   |   ├── orientation // N\*2\*4；
│   │   |   ├── position // N\*2\*3；
tactile  // 触觉信息
│   ├── hand\_left //左手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
│   ├── hand\_left //右手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
tactile  // 触觉信息
│   ├── hand\_left //左手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
│   ├── hand\_right //右手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
metadata.json //元数据信息，包含采集设备、末端类型、相机帧率、关节信息等

主要特点✨

数据集涵盖多个模态，包含视触觉传感器数据、RGB-D数据、关节位姿数据等

涵盖了多款机器人本体，包括国地中心青龙、国地中心轮臂、手持式pika夹爪。这些平台涵盖了全尺寸人形机器人、类人形轮式机器人以及手持式智能终端多种本体构型，展现了其广泛适用性。

使用“矩阵式”任务构建方法，围绕家居家政、餐饮服务、工业制造、特种作业四大类真实场景，涵盖100+原子技能，全面覆盖机器人在现实生活和生产中的关键应用领域

数据格式

白虎-VTouch 数据集按照 {任务名称}/${机器人构型}/${唯一episode_id}.h5 结构来存储，基本存储格式为HDF5格式文件。

左手相机	头部相机	右手相机

左手触觉传感器（左）	左手触觉传感器（右）	右手触觉传感器（左）	右手触觉传感器（右）

应用场景

数据量统计(GB)

数据量统计(条)

数据集格式说明🔥

国地中心青龙

cameras  // 相机数据
│   ├── hand\_left // 左手相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   ├── hand\_right // 右手相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   ├── head // 头部相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   │   ├── depth // 深度图像信息
│   │   │   ├── data // 深度数据
joints  // 关节数据
│   ├── action // 关节期望值
│   │   ├── arm // 机械臂
│   │   |   ├── position // N(行)\*14(列)；
│   │   ├── effector // 末端
│   │   |   ├── position // N(行)\*2(列)；
│   │   ├── head // 头部
│   │   |   ├── position // N(行)\*2(列)；
│   │   ├── leg // 腿
│   │   |   ├── postion // N(行)\*12(列)；
│   │   ├── waist // 腰部
│   │   |   ├── position // N(行)\*3(列)；
│   ├── state // 关节实际值
│   │   ├── arm // 机械臂
│   │   |   ├── effort // N(行)\*14(列)；
│   │   |   ├── position // N(行)\*14(列)；
│   │   |   ├── velocity // N(行)\*14(列)；
│   │   ├── effector // 末端
│   │   |   ├── position // N(行)\*2(列)；
│   │   ├── head // 头部
│   │   |   ├── effort // N(行)\*2(列)；
│   │   |   ├── position // N(行)\*2(列)；
│   │   |   ├── velocity // N(行)\*2(列)；
│   │   ├── leg // 腿
│   │   |   ├── effort // N(行)\*12(列)；
│   │   |   ├── position // N(行)\*12(列)；
│   │   |   ├── velocity // N(行)\*12(列)；
│   │   ├── waist // 腰部
│   │   |   ├── effort // N(行)\*3(列)；
│   │   |   ├── position // N(行)\*3(列)；
│   │   |   ├── velocity // N(行)\*3(列)；
tactile  // 触觉信息
│   ├── hand\_left //左手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
│   ├── hand\_right //右手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
parameters  // 传感器参数
│   ├── camera //
│   |   ├── hand\_left.json // 左手相机参数，包括内参、外参
│   |   ├── hand\_right.json // 右手相机参数，包括内参、外参
│   |   ├── head.json // 头部相机参数，包括内参、外参
metadata.json //元数据信息，包含采集设备、末端类型、相机帧率、关节信息等

国地中心轮臂

cameras  // 相机数据
│   ├── hand\_left // 左手相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   ├── hand\_right // 右手相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   ├── head // 头部相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   │   ├── depth // 深度图像信息
│   │   │   ├── data // 深度数据
│   │   ├── ir\_left // 左目红外信息
│   │   │   ├── data // 红外数据
│   │   ├── ir\_right // 右目红外信息
│   │   │   ├── data // 红外数据
joints  // 关节数据
│   ├── action // 关节期望值
│   │   ├── arm // 机械臂
│   │   |   ├── position // N(行)\*14(列)；
│   │   ├── effector // 末端
│   │   |   ├── position // N(行)\*2(列)；
│   │   ├── robot // 机体
│   │   |   ├── velocity // N(行)\*2(列)；
│   │   ├── waist // 腰部
│   │   |   ├── position // N(行)\*2(列)；
│   ├── state // 关节实际值
│   │   ├── arm // 机械臂
│   │   |   ├── position // N(行)\*14(列)；
│   │   ├── effector // 末端
│   │   |   ├── position // N(行)\*2(列)；
│   │   ├── robot // 机体
│   │   |   ├── velocity // N(行)\*2(列)；
│   │   ├── waist // 腰部
│   │   |   ├── position // N(行)\*2(列)；
tactile  // 触觉信息
│   ├── hand\_left //左手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
│   ├── hand\_right //右手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
parameters  // 传感器参数
│   ├── camera //
│   |   ├── hand\_left.json // 左手相机参数，包括内参、外参
│   |   ├── hand\_right.json // 右手相机参数，包括内参、外参
│   |   ├── head.json // 头部相机参数，包括内参、外参
metadata.json //元数据信息，包含采集设备、末端类型、相机帧率、关节信息等

手持式Pika

cameras  // 相机数据
│   ├── fisheye\_left // 左手鱼眼相机
│   │   ├── color // RGB图像信息
│   ├── fisheye\_right // 右手鱼眼相机
│   │   ├── color // RGB图像信息
│   ├── hand\_left // 左手相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   │   ├── depth // 深度图像信息
│   │   │   ├── data // 深度数据
│   ├── hand\_right // 右手相机
│   │   ├── color // RGB图像信息
│   │   │   ├── data // RGB数据
│   │   ├── depth // 深度图像信息
│   │   │   ├── data // 深度数据
joints  // 关节数据
│   ├── state // 关节实际值
│   │   ├── effector // 夹爪
│   │   |   ├── position // N\*2\*6；
│   │   ├── end // 末端
│   │   |   ├── orientation // N\*2\*4；
│   │   |   ├── position // N\*2\*3；
tactile  // 触觉信息
│   ├── hand\_left //左手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
│   ├── hand\_left //右手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
tactile  // 触觉信息
│   ├── hand\_left //左手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
│   ├── hand\_right //右手
│   |   ├── left //左侧触觉传感器
│   │   |   ├── data //触觉信息
│   |   ├── right //右侧触觉传感器
│   │   |   ├── data //触觉信息
metadata.json //元数据信息，包含采集设备、末端类型、相机帧率、关节信息等