原文关键章节已核对
以下分析来自论文原文,保留实验条件与结果适用范围。
原文依据范围
2 分布偏移与代价界 · 3 算法3.1数据聚合 · 4 在线无悔与有限样本分析 · 5.1–5.3 赛车、Mario和手写识别
原文来源与版本用于研究核对。公开可获取不等于允许全文转载;本站提供中文分析和官方原文链接。
方法机制
DAgger迭代执行当前策略或其与专家的混合,在实际访问状态查询专家动作,将样本加入累计数据集后重新监督训练。重点是改变训练状态分布以覆盖学习者自身错误;混合专家比例逐渐降低,最终可部署单一策略。无悔在线学习把训练损失联系到策略诱导分布下的表现。
实验设置与硬件
原实验含Super Tux Kart赛车、随机生成Super Mario关卡及手写字符序列,没有实体机器人。赛车用人类操作者标转向和5Hz线性回归;Mario用可访问完整状态的规划器当专家、四个线性SVM,每轮5000样本共20轮;手写约6600词、52000字符做十折评测。
结果及统计口径
作者报告赛车15轮后评测未掉出赛道,优于单纯重复专家轨迹及SMILe。Mario按0.5衰减专家混合取得约3030平均行进距离,首轮后不用专家混合约2980,而关卡全长约4200至4300;手写准确率85.5%,普通监督83.6%、无结构82%。
局限与风险
需要可查询的专家为偏离专家轨迹的状态标注,交互和安全成本没有消失。线性时域优势依赖代理损失、无悔及专家恢复代价等条件,不能保证任意不可恢复任务免误差累积;游戏结果也不等于真实自主驾驶能力。
复现建议
复现应记录每轮累计数据、专家混合概率、专家信息权限、查询量和验证选模。训练时安全接管与专家离线标注是不同环节;应比较等标签预算及重复种子,避免把仅收集专家正常轨迹的行为克隆混称DAgger。
实验标签与机器人
- 验证范围
- 仅仿真
- 机器人型号
- 未核实
代码与训练
代码待核实 · 本次未核实原论文官方代码。
交互式监督学习;每轮需要专家标注策略访问的状态。
来源与分类证据
标题、首发日期与方法摘要。
查看一手来源第5节:Super Tux Kart、Super Mario Bros.与手写序列标注。
查看一手来源正式会议记录为2011年。
查看一手来源3 算法3.1:Roll outβiexpert+(1−βi)learner;query expert at visited states;aggregate all data;return best validation policy.
查看一手来源4:No-regret bounded-loss assumptions;cost-to-go factoru affects task-cost bound;finite-sample guarantees stated separately.
查看一手来源5.1/5.2:Human steering expert in kart;Mario full-state planner expert;20iterations×5000data;3030vs2980distance.
查看一手来源5.3:10-fold handwritten dataset;85.5%DAgger vs83.6%supervised vs82%unstructured.
查看一手来源
