给定输入交互环境 E {\displaystyle {\mathcal {E}}} 和初始状态 s 0 ∈ S {\displaystyle s_{0}\in {\mathcal {S}}} ，一个“交互世界模拟”是一个“模拟分布函数” q ( o n | { o < n , a ≤ n } ) , o i ∈ O , a i ∈ A {\displaystyle q\left(o_{n}\,|\,\{o_{<n},a_{\leq n}\}\right),\;o_{i}\in {\mathcal {O}},\;a_{i}\in {\mathcal {A}}} 。给定观测值之间的距离度量 D : O × O → R {\displaystyle D:{\mathcal {O}}\times {\mathcal {O}}\rightarrow \mathbb {R} } ，一个“策略”，即给定过去动作和观测的代理动作分布 π ( a n | o < n , a < n ) {\displaystyle \pi \left(a_{n}\,|\,o_{<n},a_{<n}\right)} ，初始状态分布 S 0 {\displaystyle S_{0}} 和回合长度分布 N 0 {\displaystyle N_{0}} ，交互世界模拟的目标是最小化 E ( D ( o q i , o p i ) ) {\displaystyle E\left(D\left(o_{q}^{i},o_{p}^{i}\right)\right)} ，其中 n ∼ N 0 {\displaystyle n\sim N_{0}} ， 0 ≤ i ≤ n {\displaystyle 0\leq i\leq n} ，以及 o q i ∼ q , o p i ∼ V ( p ) {\displaystyle o_{q}^{i}\sim q,\;o_{p}^{i}\sim V(p)} 是在执行代理策略 π {\displaystyle \pi } 时从环境和模拟中抽取的观测值。重要的是，这些样本的条件动作总是通过代理与环境 E {\displaystyle {\mathcal {E}}} 交互获得，而条件观测既可以从 E {\displaystyle {\mathcal {E}}} 获得（“教师强迫目标”），也可以从模拟中获得（“自回归目标”）。
和初始状态 
，一个“交互世界模拟”是一个“模拟分布函数” 
。给定观测值之间的距离度量 
，一个“策略”，即给定过去动作和观测的代理动作分布 
，初始状态分布 
和回合长度分布 
，交互世界模拟的目标是最小化 
，其中 
，
，以及 
是在执行代理策略 
时从环境和模拟中抽取的观测值。重要的是，这些样本的条件动作总是通过代理与环境 交互获得，而条件观测既可以从 获得（“教师强迫目标”），也可以从模拟中获得（“自回归目标”）。
