具身智能速查
60 分钟更新
具身智能速查阅读原文 · 追踪方法 · 连接实践
近期研究

Token-World:在视觉语言模型词元空间中进行机器人操作世界建模

Token-World: World Modeling in Vision-Language Model Token Space for Robot Manipulation

仅仿真代码待核实原文关键章节已核对

原文关键章节已核对

以下分析来自论文原文,保留实验条件与结果适用范围。

8 页 PDF · 4.8 MB归档日期 2026-10-04已核对方法、实验、结果与局限
从官方来源获取原文
原文依据范围

第III节与图2,PDF第3–4页 · 第IV节实验及表I–IV、图6,PDF第4–7页 · 第V节结论与局限,PDF第7页

原文来源与版本用于研究核对。公开可获取不等于允许全文转载;本站提供中文分析和官方原文链接。

基于原文的中文分析

方法机制

冻结Qwen3-VL,将108个2560维视觉词元逐词压成16维,不合并空间位置。独立语义VAE先学重建,后冻结编码解码器;因果时空Transformer结合GRU与滑动窗口,以流匹配及shortcut forcing预测紧凑状态和本体信息。

实验设置与硬件

使用RoboTwin五十任务共5000条成功/失败轨迹,以及Franka六任务600条成功轨迹;按9:1划分。比较IRASim、Ctrl-World、WorldGym;三类共享Qwen3-VL的StarVLA头在学习仿真器中闭环运行,以解码视频人工判成功。

结果及统计口径

RoboTwin特征余弦相似度0.7714、动作相似度0.9439。与参考成功率的Pearson相关为0.794,Ctrl-World为0.583;每预测观测0.359秒。16维较更宽状态在大多动力学指标上更优,重建更好不保证预测更好。

局限与风险

策略都共享同一视觉语言底座,跨底座迁移未测;人工视频成功判断与少量任务限制结论。主要证据是学习仿真和轨迹预测,记录的真实机械臂演示不等于所提世界模型控制真机的成功率。

复现建议

应统一输入特征、轨迹切分和动作块跨度,并单独核对50步RGB基线与16步本方法的推理预算。保留RGB解码仅作评测的界限,不能把不同表格的条件混为一组;项目声明将开源,实际仓库未核实。

这是原文分析,不是逐字全文译本,也不代表本站已复现实验。

实验标签与机器人

验证范围
仅仿真
机器人型号
Franka Research 3(真实轨迹采集)、RoboTwin机械臂(仿真)

型号和使用场景以原文及上列说明为准;训练或离线采集平台不等于所提方法的实机闭环验证。

代码与训练

代码待核实 · 代码状态未核实

应统一输入特征、轨迹切分和动作块跨度,并单独核对50步RGB基线与16步本方法的推理预算。保留RGB解码仅作评测的界限,不能把不同表格的条件混为一组;项目声明将开源,实际仓库未核实。 论文许可不代表代码许可,代码实际发布状态仍未知。

来源与分类证据

  • PDF第4–5页§IV-A及图3:真实平台为Franka Research 3、Robotiq夹爪、双RealSense 435;文中清晰描述的是轨迹采集和世界模型评测。

    查看一手来源
  • PDF第7页图6(已渲染核看):0.794是政策—任务组合的模拟/参考成功率相关性,非任务成功率。

    查看一手来源
  • PDF第7页表III:16维动作NMSE不是所有维度中最小,48维为0.0236;综合最优不应写成全指标最优。

    查看一手来源