跳转至

SONIC 与全身运动学习

G1 的操作学习既涉及理解任务，也涉及身体如何保持平衡并完成动作。本页介绍 SONIC、动作重定向与运动跟踪，帮助选择与 VLA 配套的控制路线。新增资料核对日期为 2026-09-26；以下为官方资料整理与实验建议，尚未在本实验室完成训练或实机复现。

先区分三个问题

层次 解决的问题 输入与输出示例
任务策略 看懂场景后执行什么动作 图像、语言、状态 → 末端目标、关节目标或动作 token
动作重定向（retargeting） 人体动作如何对应到机器人骨架 人体骨架轨迹 → G1 参考姿态与关节轨迹
运动跟踪（motion tracking） 如何在动力学约束下跟随参考动作 参考动作、机器人状态 → 控制目标

重定向得到的是运动学参考。直接在查看器里回放，不能说明机器人能够依靠接触力和电机执行同样的动作。运动跟踪需要处理平衡、接触和执行误差；任务策略还需要处理物体与目标变化。

SONIC 的核心思路

SONIC 全称为 Supersizing Motion Tracking for Natural Humanoid Whole-Body Control，通过扩大模型、动作数据和训练规模，学习统一的全身运动控制策略。不同类型的动作指令进入共享表示，使同一策略可供遥操作、规划器和高层策略使用。官方项目展示了与 GR00T VLA 的连接。SONIC 项目与论文

训练实现使用不同编码器处理 G1 轨迹、人体姿态或遥操作目标，经有限标量量化（FSQ）进入共享 token 空间，再由统一解码器产生关节动作；控制器在 Isaac Lab 中采用 PPO 与辅助损失训练。官方训练说明

下面是接口关系示意，具体字段以选用版本为准：

人体动作／VR 目标 → 对应编码器 ─┐
                              ├→ SONIC 动作表示 + 机器人状态
图像 + 指令 + 状态 → 适配的 VLA ┘              ↓
                                      全身控制器
                                           ↓
                                    G1 身体控制目标

在官方 VLA 工作流中，每步动作由 64 维运动 token 和左右手各 7 维关节目标组成，共 78 维；身体控制器以 50 Hz 解码动作。这是该工作流的特定接口，不能据此推断自己的 Dex3、夹爪或其他手型也有相同维度。官方 VLA 工作流

可选工具与方法

方法／项目 作用 本手册建议的入门目标
GEAR-SONIC / GR00T-WholeBodyControl 提供 SONIC 训练、检查点、部署与遥操作代码；同仓库也包含上下身解耦控制方案 先使用匹配的预训练模型完成仿真跟踪，再研究 VLA 接口
BeyondMimic 提供全身运动跟踪训练及独立部署仓库入口 用一段重定向动作理解参考轨迹、训练与回放评估
GMR 将人体动作重定向到多种机器人，支持 G1 与多种输入格式 先验证骨架、比例与关节映射，再把结果交给跟踪框架

这些工具处在不同环节，不宜仅用一个“成功率”直接排名。可比较相同参考动作下的跟踪误差和跌倒率，也可比较相同操作任务下的完成率，但要分别说明实验条件。

选择 SONIC 检查点

官方模型卡区分默认模型、低延迟遥操作模型和 SONIC v1.1。它们的参考窗口或姿态约定不同；编码器、解码器和观测配置应成套使用。参考动作的前瞻窗口也不等于整套系统的端到端延迟。模型卡与下载入口

本手册建议保存一份运行清单：代码提交、模型 revision、观测配置、机器人模型、手型、相机布局和控制参数。采集数据时也保存这份清单；切换控制器后，即使 token 维度相同，也需要重新验证动作含义。

数据如何进入两条学习流程

训练运动控制器： 从动作数据选择参考轨迹，转换到训练器要求的表示，在仿真中学习跟踪。SONIC 提供 BONES-SEED 转换与筛选流程；默认训练配置还涉及配对的机器人与人体参考，不能只下载 G1 CSV 就假设所有输入已经齐全。数据处理与训练配置

训练任务 VLA： 使用 SONIC 遥操作栈记录相机、机器人状态、任务与动作，清理无效片段，再按官方流程微调 Isaac-GR00T，最后连接策略服务与控制器。核对时的教程使用 N1.7 和 LeRobot v2.1；应固定整个版本组合，不能因为其他教程介绍 v3 就直接更换加载器。采集、微调与部署教程

官方采集教程要求先完成仿真与遥操作准备，并说明已测试的 OAK 相机配置。使用自己的 G1 相机前，需要核对驱动、视角和时间同步。数据采集教程

动作捕捉数据中的“拿杯子”描述，并不自动提供杯子图像、实际接触和抓取成功标签。运动先验和视觉操作示范可分别帮助身体控制与任务学习；如何结合取决于训练目标和数据接口。

建议的最小实验

以下为本手册建议，验收条件需按实验目标事先定义：

  1. 先回放参考。 选择短片段，检查根节点位置、朝向、关节顺序、地面高度和脚部接触。
  2. 再闭环跟踪。 在所选框架的仿真中加载匹配控制器，确认机器人通过控制跟随参考，而非直接覆盖仿真状态。
  3. 保留未见动作。 按原始动作、人物或采集会话划分测试集；同一动作的裁剪、镜像版本应放在同一集合。
  4. 测试执行链。 测量控制周期、观测延迟与丢帧；记录跟踪中断、跌倒、脚滑和关节限幅。
  5. 最后接入任务策略。 先用记录的动作流检查接口，再在仿真中比较遥操作与 VLA 闭环表现。
评测对象 建议记录
参考可行性 穿模、脚部滑动、关节越界、场景中缺失的支撑物
跟踪质量 关节／身体位置误差，采用世界坐标还是根节点相对坐标
稳定性 完整片段完成率、跌倒次数、失败发生时间
泛化 未见动作类别、初始姿态变化与仿真参数变化
操作能力 物体任务成功率、手部动作、行走与操作是否相互干扰

仿真工具入口见仿真页面。实机验证前应按安全指南明确工作区、接管与停止流程；本文不提供未经本实验室验证的实机启动命令。