Translations:Diffusion Models Are Real-Time Game Engines/28/es

Reutilizamos un modelo de difusión de texto a imagen preentrenado, Stable Diffusion v1.4 (Rombach et al., 2022). Condicionamos el modelo $f_{\theta }$ en trayectorias $T\sim {\mathcal {T}}_{agent}$, es decir, en una secuencia de acciones previas $a_{<n}$ y observaciones (fotogramas) $o_{<n}$, y eliminamos todo condicionamiento textual. Específicamente, para condicionar en las acciones, simplemente aprendemos una incrustación $A_{emb}$ de cada acción (por ejemplo, una pulsación de tecla específica) en un único token y sustituimos la atención cruzada del texto en esta secuencia de acciones codificadas. Para condicionar en las observaciones (es decir, los fotogramas anteriores), las codificamos en el espacio latente utilizando el autocodificador $\phi$ y las concatenamos en la dimensión de los canales latentes a los latentes ruidosos (véase la figura 3). También experimentamos condicionando estas observaciones anteriores mediante atención cruzada, pero no observamos mejoras significativas.