Translations:Attention Mechanisms/17/es
El factor de escala $ \sqrt{d_k} $ evita que los productos punto crezcan en magnitud a medida que aumenta la dimensión de la clave $ d_k $, lo cual llevaría al softmax a regiones con gradientes extremadamente pequeños.