Translations:Attention Mechanisms/17/es
El factor de escala $ \sqrt{d_k} $ evita que los productos punto crezcan en magnitud a medida que aumenta la dimensión de las claves $ d_k $, lo cual empujaría al softmax a regiones con gradientes extremadamente pequeños.