Translations:Attention Mechanisms/33/es

• Enmascaramiento: En la decodificación autorregresiva, las posiciones futuras se enmascaran (se ponen a $ -\infty $ antes del softmax) para preservar la estructura causal.
• dropout de atención: descartar aleatoriamente pesos de atención durante el entrenamiento actúa como regularizador y reduce el sobreajuste a patrones de alineamiento específicos.
• Caché clave-valor: durante la inferencia, los vectores de claves y valores calculados previamente se almacenan en caché para evitar cómputos redundantes, acelerando significativamente la generación autorregresiva.