具身智能速查
60 分钟更新
具身智能速查阅读原文 · 追踪方法 · 连接实践
近期研究

人形机器人操作接口:从无需机器人在场的示范中学习人形机器人全身操作

Humanoid Manipulation Interface: Humanoid Whole-Body Manipulation from Robot-Free Demonstrations

仿真 + 实物有开源代码原文关键章节已核对

原文关键章节已核对

以下分析来自论文原文,保留实验条件与结果适用范围。

15 页 PDF · 35.5 MB归档日期 2026-10-04已核对方法、实验、结果与局限
从官方来源获取原文
原文依据范围

II-A–C · III–VI Experiments · VIII Limitations · Appendix E–F · Downloaded latest-version methods/results cross-check

原文来源与版本用于研究核对。公开可获取不等于允许全文转载;本站提供中文分析和官方原文链接。

基于原文的中文分析

方法机制

HuMI用手持感知夹爪与腰脚追踪器收集无需机器人在场的示范,在线逆运动学预览让人主动避开机器人不可达姿态。高层扩散策略生成身体关键点轨迹,仿真训练的低层全身控制器采用速度自适应末端精度和变速增强;动作段以上一目标为参考,腰脚等缺乏视觉锚点处只跟踪段内相对运动。

实验设置与硬件

Unitree G1实机评跪地取环、双臂抽剑、投掷及走向清桌,各20次;另用七环境、七瓶型350示范训练蹲取策略,在四新环境及六新物体共20次测试。15分钟采集对照TWIST2,均由有经验操作者执行。

结果及统计口径

作者报告四项域内成功率85%、85%、75%、75%;新环境/物体蹲取14/20即70%。抽剑示范采集62段对28段,接受率96.7%对64.3%,单个可用示范耗时约为对照30%;“三倍效率”对应这一特定流程。

局限与风险

机器人不在采集现场仍需追踪器、标定及人看IK预览,不是任意自然视频直接学习。追踪依赖纹理照明,低层控制器尚非通用,只有G1验证;多数能力测试与示范同场景,70%泛化仅对应蹲取任务。

复现建议

复现应共同训练视觉高层和运动跟踪低层,保存示范同步、夹爪坐标及关键点相对参考。高层5Hz、低层50Hz;预览与参考选择消融有大幅下降,单纯复制网络架构不足以复现整体系统。

这是原文分析,不是逐字全文译本,也不代表本站已复现实验。

实验标签与机器人

验证范围
仿真 + 实物
机器人型号
Unitree G1

实机使用定制 UMI 风格夹爪和 HTC Vive Ultimate Tracker 定位。

代码与训练

有开源代码 · 完整训练入口已核实

官方仓库有采集、处理、高层训练、低层训练、部署五部分。低层基于 Isaac Lab、cuRobo、PPO teacher/student;高层提供 train.sh 与加速训练配置。

来源与分类证据