一种将真实视频重写为可执行MuJoCo物理程序的智能循环

MirroS近日发布了Code-as-World，这是一个创新的框架，能将真实世界的视频转化为可执行的物理模拟，挑战了传统的视频分析范式。这种方法将视频像素视为物理场景的证据而非场景本身，将影像转化为可由MuJoCo等物理引擎运行的交互式代码。

其核心概念是可执行世界表示（EWR），它将场景结构化为三个组成部分：构成、演化与外观。构成定义了对象及其物理属性以及环境常数（如重力）；演化规定了场景如何因力和碰撞随时间变化；关键的是，外观（包括摄像机角度和光照）的更改不会影响底层物理，从而将视觉渲染与物理模拟分离。

从原始视频生成这种表示是一个逆向问题，通过代理循环解决。系统提出初始假设，进行模拟，然后根据源视频验证，最多进行五轮。它使用SAM 3等工具获取物体掩模，使用VGGT-Omega进行深度估计，通过差异指导修订，直到实现精确匹配。

经过验证的模拟随后成为具有精确物理标签的高质量训练数据，这是真实视频中缺乏的资源。MirroS在这些数据上训练了Code-as-World-VL模型，采用监督微调，随后对世界空间问题进行强化学习（GRPO）。这一过程提升了模型定量推理物理现象的能力。

结果证明了该方法的有效性。其90亿参数模型在QuantiPhy验证基准测试中获得55.4分，超越了谷歌的Gemini-3.1 Flash（54.8分），并显著优于最强的开放权重基线。这表明可执行世界为教授物理推理提供了一种强大的监督形式。

MirroS在Apache 2.0许可下发布了Code-as-World模型和代码，使其可供研究使用。该项目暗示了一种范式转变，即复杂场景不仅通过像素理解，更通过其可执行的物理规则理解。这对机器人训练、模拟以及需要深度世界理解的AI系统具有深远影响。