原文关键章节已核对
以下分析来自论文原文，保留实验条件与结果适用范围。
12 页 PDF · 2.8 MB归档日期 2026-10-04已核对方法、实验、结果与局限
从官方来源获取原文原文依据范围
2 · 3 · 4 · 5 · 6.1–6.4 · 7 · Tables 1–2
原文来源与版本用于研究核对。公开可获取不等于允许全文转载；本站提供中文分析和官方原文链接。
方法机制
PPO收集当前策略批次后，用旧/新动作概率比和优势估计构造替代目标，多轮小批量更新。裁剪版本取原目标与裁剪目标较小者，移除向过大改善方向继续推进的收益；另一版本自适应调节KL惩罚，并结合价值和熵目标。
实验设置与硬件
七个MuJoCo任务各一百万步比较替代目标，再与TRPO、A2C、CEM等比连续控制；Roboschool模拟人形奔跑/转向/受击起身作为扩展，49个Atari游戏比较学习过程及最终得分，三次试验汇总。
结果及统计口径
裁剪目标通常优于固定或自适应KL方案，连续控制综合表现强；Atari按全程平均奖励PPO赢30/49个游戏、ACER18个，但按最后100局ACER赢28个、PPO19个。优势是实现、稳定性与样本复用折中，并非所有指标始终最优。
局限与风险
裁剪目标不是硬KL约束，更不是机器人安全保证；依旧同策略，需要新环境采样，不能任意无限复用旧数据。模拟人形和Atari不构成实机证据，超参数及优势、价值实现会影响结果。
复现建议
先固定优势估计、概率比、裁剪范围0.2、epoch和minibatch，保存旧策略log概率及终止掩码；同时监测KL、裁剪比例、熵和多个随机种子。比较采样效率与最终成绩须使用相同环境步数。
实验标签与机器人
- 验证范围
- 仅仿真
- 机器人型号
- 未核实
代码与训练
有开源代码 · 作者机构OpenAI Baselines公开PPO实现；依赖较旧。
On-policy采样后做多轮更新；工程细节影响结果。