具身智能速查
60 分钟更新
具身智能速查阅读原文 · 追踪方法 · 连接实践
经典研究

学习从人到人形机器人的实时全身遥操作

Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation

仿真 + 实物有开源代码原文关键章节已核对

原文关键章节已核对

以下分析来自论文原文,保留实验条件与结果适用范围。

10 页 PDF · 12.7 MB归档日期 2026-10-04已核对方法、实验、结果与局限
从官方来源获取原文
原文依据范围

IV-A/B 重定向与sim-to-data · V-A–D 状态、奖励、随机化和终止 · VI 表III/IV及实机部署 · VII 讨论与限制

原文来源与版本用于研究核对。公开可获取不等于允许全文转载;本站提供中文分析和官方原文链接。

基于原文的中文分析

方法机制

H2O先调整SMPL人体比例并以12个对应关节点重定向AMASS动作,再训练可见完整刚体状态的特权策略,删除其无法跟踪的序列。最终控制器只用可获得的本体状态及八个参考关键点,输出19维关节目标,经PD控制执行;摩擦、质量、增益、延迟等随机化用于实机迁移。

实验设置与硬件

约1万条重定向动作筛为8500条可行动作,仿真仍在未经清理的1万条上比较全系统、无清理和简化目标状态。真实Unitree H1通过30Hz HybrIK读取RGB人体姿态,演示行走、踢球、推车和后跳,另做外力扰动测试。

结果及统计口径

作者表III报告仿真跟踪成功率72.5%,不清理为67.9%,简化状态为53.2%;成功定义包括全程平均身体偏差不超过0.5米。特权策略85.5%不能直接部署。真实实验展示多样动态行为,没有同等规模的实机成功率统计。

局限与风险

所谓“仅RGB相机”针对操作者动作输入;机器人根部线速度实际由50Hz动捕系统估计。可行动作筛选受特权策略能力限制,视觉延迟、形态差异及随机化强度仍影响精度,不能理解为自主任务规划。

复现建议

复现需AMASS/SMPL处理、H1模型、两阶段训练、精确PD和随机化配置,还须提供根部速度估计。应单独测端到端延迟、失衡率和未经筛选的新动作,不能仅以展示视频验证鲁棒性。

这是原文分析,不是逐字全文译本,也不代表本站已复现实验。

实验标签与机器人

验证范围
仿真 + 实物
机器人型号
Unitree H1

相关机器人档案

代码与训练

有开源代码 · 作者H2O与OmniH2O共享训练仓库公开,许可限制非商业用途。

需要动作重定向、sim-to-data筛选与域随机化训练;仓库基于Isaac Gym、legged_gym和rsl_rl。

来源与分类证据

  • arXiv原始记录:标题、首发日期与方法摘要。

    查看一手来源
  • 正文明确Unitree H1;实机设置写明RGB相机估计人姿态、动捕估计机器人线速度。

    查看一手来源
  • 作者项目展示sim-to-data、重定向与部署流程。

    查看一手来源
  • 官方实现与CC BY-NC 4.0许可声明。

    查看一手来源
  • IV-A/B:13k AMASS sequences →10k retargeted →~8.5k cleaned; privileged controller filters failures.

    查看一手来源
  • VI-A 表III:72.5%, 67.9%, 53.2% are simulation imitation success on 10k sequences; >0.5m body distance fails.

    查看一手来源
  • VI-B Deployment Details:Unitree H1; 30Hz pose estimation; external 50Hz MoCap for linear velocity; onboard sensors 200Hz.

    查看一手来源
  • VII:Pose latency, embodiment feasibility and randomization/imitation trade-offs explicitly discussed.

    查看一手来源