Translations:Attention Mechanisms/33/es

• Enmascaramiento: En la decodificación autorregresiva, las posiciones futuras se enmascaran (se establecen en $ -\infty $ antes del softmax) para preservar la estructura causal.
• Dropout de atención: Eliminar pesos de atención de forma aleatoria durante el entrenamiento actúa como regularizador y reduce el sobreajuste a patrones de alineación específicos.
• Caché de clave-valor: Durante la inferencia, los vectores de clave y valor calculados previamente se almacenan en caché para evitar cálculos redundantes, acelerando significativamente la generación autorregresiva.