WorldOracle世界模型评测平台发布 用真机实测给AI测谎

【CNMO科技消息】近日，WorldOracle世界模型评测平台正式发布，并向开发者开放评测提交。据项目方介绍，这是全球首个以真实执行为标尺的动作驱动世界模型评测平台，由智元、英伟达、普林斯顿大学、得克萨斯大学奥斯汀分校以及多伦多大学研究人员联合完成，核心目标是判断模型预测的未来与真实执行结果究竟相差多少。

WorldOracle

与过去更多关注生成视频“像不像”不同，WorldOracle把评测重点放在执行结果是否真实。平台会预先采集真实操作画面和动作序列，再让世界模型在相同初始画面和动作条件下生成预测视频，最后与真机实际执行结果逐帧对照。即使机器人真实操作中出现抓空、掉落或洒水，只要模型能够准确预测失败，同样可以获得高分。

项目将这种预测与真实执行的吻合程度称为“执行一致性”。评测主要设置三类压力测试，包括模型能否严格服从动作序列的因果关系，能否适应机器人自主策略产生的停顿、抖动和临场修正，以及预测时间延长至120秒后，误差是否仍处于可控范围。项目方称，WorldOracle目前同时覆盖动作条件化、真实数据、失败样本、长时序、多本体、多视角以及策略自主执行分布等多个维度。

此次评测集包含335条真机轨迹，其中智元精灵G2机器人100条、YAM机器人75条、人类第一视角手部操作100条，另有60条来自G2策略自主执行，每条轨迹约2分钟。更特别的是，约40%的交互片段保留了失败或次优执行，包括抓空、掉落和洒水等情况。测试任务则覆盖水果抓取、挂毛巾、倒水和开合抽屉，对应刚体、柔性体、流体和关节体四类物理形态。

研究团队还横向测试了IRASim、Ctrl-World、DreamDojo、Cosmos 3、GE-Sim 2.0、JointControlVideo和OSCAR共7个动作驱动世界模型。结果显示，不少模型能够较准确地复现机械臂运动，却难以正确预测物体最终状态。例如在G2人工操作轨迹中，GE-Sim 2.0的机械臂空间对齐得分达到100.0，但物体部分只有62.8。随着预测时间从10秒拉长至120秒，多数模型成绩也出现明显下降。

WorldOracle目前已经公开榜单和提交指南，同时支持开放权重与闭源模型。开发者完成注册审核后，可以根据模型支持的本体和赛道上传预测视频，并查看综合分、分项成绩以及逐段对比结果。