开源数据集集合
本页汇集机器人操作学习的数据入口，优先列出与 G1 相关的资源，再介绍跨机型数据和仿真基准。资源核对日期为 2026-09-13；以下是官方资料整理，尚未在本实验室完整下载、训练或复现实机效果。
G1 官方数据
| 数据集 | 内容与配置 | 建议用途 |
|---|---|---|
| G1 Dex3 ToastedBread | 宇树发布的 G1／Dex3 操作数据，提供状态、动作及视频；也是 Unitree LeRobot 的加载示例 | 熟悉 G1 操作数据结构和离线可视化 |
| G1 Dex1 Stack Block | 积木堆叠任务，包含双臂、夹爪等观测与动作字段 | 研究桌面操作、双臂数据映射 |
| G1 Dex1 Fold Towel | G1／Dex1 折毛巾任务 | 研究柔性物体操作与较长动作序列 |
下载入口和字段以各数据集页面为准。名称相近的数据也可能使用不同末端、相机布局和字段组织，不能默认共用一个动作转换器。
更多资源可从宇树官方 Hugging Face 数据集目录查找。宇树的 UnifoLM-VLA 项目列出了积木、收纳、清洁、折毛巾等任务的数据入口；部分旧名称会重定向到带末端型号的新名称，应记录最终仓库 ID。
跨机型数据与仿真基准
下表的“与 G1 的关系”是本手册根据数据来源和任务作出的选用建议，不代表这些资源已适配 G1。
| 资源 | 数据内容与官方入口 | 与 G1 的关系 |
|---|---|---|
| Open X-Embodiment（OXE） | 项目主页与数据入口；汇集多种机器人平台的真实操作轨迹 | 适合了解跨机型预训练；混合使用前需统一观测和动作语义 |
| DROID | 项目主页、可视化与快速入门；基于 Franka Panda 的真实操作数据，含外部与腕部视角、状态、动作和语言信息 | 可用于研究场景多样性与迁移；Franka 动作不能直接发送到 G1 |
| LIBERO | 官方仓库及演示数据下载；提供语言条件操作任务与仿真演示 | 适合先复现 VLA 训练和闭环评测；成绩反映该基准表现 |
| robomimic 数据资源 | 官方数据集总览；提供操作学习的数据资源及使用说明 | 适合建立模仿学习基线；逐项确认所选数据的语言标注、机型和格式 |
OXE 是多个数据集的集合，LeRobot 是数据与训练工具体系，LIBERO 同时包含环境和基准任务。选资源时要明确需要的是训练轨迹、数据格式还是评测环境。
选数据前先看什么
先选择一个小任务和少量完整轨迹，确认以下内容，再决定是否下载整个集合：
| 检查项 | 需要回答的问题 |
|---|---|
| 机身与末端 | 单臂还是双臂？夹爪还是灵巧手？是否包含腰部或移动基座？ |
| 观测 | 哪些相机视角？是否有机器人状态？图像与状态如何同步？ |
| 动作 | 关节目标还是末端位姿？绝对量还是增量？单位、顺序和坐标系是什么？ |
| 时间 | 数据采样率、实际控制频率、延迟和动作分段如何定义？ |
| 语言 | 是完整指令、任务标签还是没有标注？语言与动作段是否对应？ |
| 质量 | 成功与失败如何标记？是否有停顿、截断、丢帧和操作者接管？ |
| 开放条件 | 数据集卡是否给出许可、下载条件和引用要求？ |
“公开可下载”并不表示每个条目具有相同许可。数据、训练代码和模型权重分别查对应说明；OXE 的组成数据也应逐项记录来源和许可。
LeRobot 格式与 G1 数据转换
LeRobotDataset v3 使用 Parquet 存储逐帧数据、视频文件存储视觉观测，并通过元数据描述字段、轨迹边界和时间位置。文件可能包含多条轨迹，不能再假设“一条轨迹等于一个文件”。官方格式说明
宇树提供 Unitree LeRobot，覆盖数据转换、训练与部署衔接。使用时固定仓库与子模块版本，并检查所选策略支持的数据格式版本。旧教程使用的 LeRobot v2.x 与 v3 的目录布局和加载代码可能不同。
本手册建议按以下顺序准备数据：
- 阅读数据集卡，记录仓库 ID、revision、格式版本与许可。
- 用对应版本的官方查看器打开一条完整轨迹，确认图像、指令和动作内容。
- 对照字段说明列出 G1 的状态与动作映射，明确左右臂、末端和单位。
- 画出动作随时间变化的曲线，检查跳变、缺失值和图像时间对应关系。
- 按完整轨迹及采集场景划分训练、验证与测试集，避免相邻帧跨集合泄漏。
- 确认格式转换后仍保留轨迹边界、任务文本和必要标定信息，再开始训练。
格式转换只改变数据组织；把 Franka 的数据写成 LeRobot 格式，并不会自动解决 G1 的运动学、动作维度或视角适配。
自采数据应该记录什么
使用 xr_teleoperate等工具采集 G1 演示时，建议将以下信息与数据一起保存：
数据集名称、版本、采集日期与负责人
机身自由度、左右末端、额外载荷
固件、SDK、采集程序提交号
相机型号、视角、内外参、分辨率
状态字段、动作字段、单位、坐标系、关节顺序
采样率、控制频率、时间戳来源、同步方式
任务指令、初始条件、结束条件、成功与失败标签
操作者接管、异常、数据清洗与裁剪记录
训练／验证／测试划分和归一化统计来源
数据许可、原始来源与引用
初次采集可先做单个桌面任务，覆盖不同物体位置，并保留失败原因和停止记录。传感器同步见传感器与感知，训练与部署路线继续阅读 VLA。