原文关键章节已核对
以下分析来自论文原文,保留实验条件与结果适用范围。
原文依据范围
II-A–C · III–VI Experiments · VIII Limitations · Appendix E–F · Downloaded latest-version methods/results cross-check
原文来源与版本用于研究核对。公开可获取不等于允许全文转载;本站提供中文分析和官方原文链接。
方法机制
HuMI用手持感知夹爪与腰脚追踪器收集无需机器人在场的示范,在线逆运动学预览让人主动避开机器人不可达姿态。高层扩散策略生成身体关键点轨迹,仿真训练的低层全身控制器采用速度自适应末端精度和变速增强;动作段以上一目标为参考,腰脚等缺乏视觉锚点处只跟踪段内相对运动。
实验设置与硬件
Unitree G1实机评跪地取环、双臂抽剑、投掷及走向清桌,各20次;另用七环境、七瓶型350示范训练蹲取策略,在四新环境及六新物体共20次测试。15分钟采集对照TWIST2,均由有经验操作者执行。
结果及统计口径
作者报告四项域内成功率85%、85%、75%、75%;新环境/物体蹲取14/20即70%。抽剑示范采集62段对28段,接受率96.7%对64.3%,单个可用示范耗时约为对照30%;“三倍效率”对应这一特定流程。
局限与风险
机器人不在采集现场仍需追踪器、标定及人看IK预览,不是任意自然视频直接学习。追踪依赖纹理照明,低层控制器尚非通用,只有G1验证;多数能力测试与示范同场景,70%泛化仅对应蹲取任务。
复现建议
复现应共同训练视觉高层和运动跟踪低层,保存示范同步、夹爪坐标及关键点相对参考。高层5Hz、低层50Hz;预览与参考选择消融有大幅下降,单纯复制网络架构不足以复现整体系统。
实验标签与机器人
- 验证范围
- 仿真 + 实物
- 机器人型号
- Unitree G1
实机使用定制 UMI 风格夹爪和 HTC Vive Ultimate Tracker 定位。
代码与训练
有开源代码 · 完整训练入口已核实
官方仓库有采集、处理、高层训练、低层训练、部署五部分。低层基于 Isaac Lab、cuRobo、PPO teacher/student;高层提供 train.sh 与加速训练配置。
