Translations:Attention Mechanisms/17/zh

縮放因子 $ \sqrt{d_k} $ 防止點積隨着鍵維度 $ d_k $ 的增加而變得過大,否則會使 softmax 進入梯度極小的區域。