具身智能速查
60 分钟更新
具身智能速查阅读原文 · 追踪方法 · 连接实践
经典研究

Transformer 是样本高效的世界模型

Transformers are Sample-Efficient World Models

仅仿真有开源代码原文关键章节已核对

原文关键章节已核对

以下分析来自论文原文,保留实验条件与结果适用范围。

21 页 PDF · 0.6 MB归档日期 2026-10-04已核对方法、实验、结果与局限
从官方来源获取原文
原文依据范围

归档v2第2.1–2.3节:离散化、动力学与想象学习 · 归档v2第3.1–3.3节及表1:协议、结果与错误分析 · 归档v2附录B/D/E/G:策略目标、循环、令牌消融和计算资源 · 归档v2 PDF第6页表1可视复核

原文来源与版本用于研究核对。公开可获取不等于允许全文转载;本站提供中文分析和官方原文链接。

基于原文的中文分析

方法机制

IRIS以离散自编码器把64×64像素图像压缩成令牌,GPT式Transformer在图像令牌与动作交错序列上预测未来画面、奖励和终止。策略和值网络只在生成轨迹中用带熵奖励的actor-critic更新;环境交互用于改进世界模型,部署不进行树搜索。归档v2的图像重建使用L1而非初版所写L2。

实验设置与硬件

在26个Atari 100k游戏中,每游戏允许十万次环境动作,约两小时游戏经验。作者各做五次训练,每次结束评估100局,并用分层自助法报告均值、中位数、四分位均值等置信区间;区分带前瞻搜索的MuZero/EfficientZero与纯学习基线。

结果及统计口径

作者表1报告人类归一化均值1.046、四分位均值0.501,26项中10项超过人类;中位数仅0.289。其总体优势主要针对不使用搜索的方法,EfficientZero平均与中位成绩更高,不能称所有游戏全面领先。Pong生成示例捕捉球轨迹及计分。

局限与风险

罕见事件必须先被环境探索发现,再被模型学会、策略重新探索,存在双重探索瓶颈。16令牌会漏掉迷宫中小目标;64令牌改善重建却增加序列长度。模型偏差直接限制策略,论文没有机器人或连续动作实机实验。

复现建议

应固定Atari动作重复、十万动作预算、五种子与最终100局协议,复现自编码器、十层Transformer及20步想象。v2附录报告两个环境共享一张A100训练约七天;两小时只是交互经验。奖励预测依任务用均方或交叉熵,不能机械照搬初版描述。

这是原文分析,不是逐字全文译本,也不代表本站已复现实验。

实验标签与机器人

验证范围
仅仿真
机器人型号
未核实

无实机;仿真形态不等同于已验证的商业机器人型号。

代码与训练

有开源代码 · 训练代码已开源

官方训练代码、结果和预训练模型入口公开;代码 GPL-3.0,Atari ROM 另有许可要求。

来源与分类证据

  • 日期、方法和 Atari 100k 评估。

    查看一手来源
  • 官方训练、结果、模型入口和 GPL-3.0;ROM 许可提示。

    查看一手来源
  • v2 §2.1–2.3:Discrete autoencoder uses L1 reconstruction; reward loss is MSE or cross-entropy depending on reward; actor-critic trains in imagination.

    查看一手来源
  • v2 §3.2/Table1/PDF p6:Visually verified:26games,100k actions,5runs,100 final episodes;mean1.046,median0.289,IQM0.501.

    查看一手来源
  • v2 §3.2/AppendixE:Double exploration;64tokens improve reconstruction and returns for Alien/Asterix/BankHeist,with higher compute.

    查看一手来源
  • v2 AppendixG:Two Atari environments per A100 40GB take about7days;authors describe average3.5days/environment. Two hours denotes game interaction,not compute.

    查看一手来源