近年来，生成模型在根据文本或图像等多模态输入生成图像和视频方面取得了重大进展。在这一浪潮的前沿，扩散模型成为非语言媒体生成的事实标准，如 Dall-E（Ramesh 等人，2022）、Stable Diffusion（Rombach 等人，2022）和 Sora（Brooks 等人，2024）。乍一看，模拟视频游戏的交互世界似乎与视频生成类似。然而，"交互式"世界模拟不仅仅是快速生成视频。因为生成过程中需要以输入动作流为条件，而输入动作流只能在生成时获取，这打破了现有扩散模型架构的一些假设。尤其是，它要求自回归地生成帧，这往往是不稳定的，并导致采样发散（见 3.2.1 节）。
