Translations:Attention Mechanisms/1/zh
注意力機制是一類允許神經網絡在生成輸出的每個元素時有選擇地關注輸入相關部分的技術。最初引入是為了克服序列到序列模型中固定長度上下文向量的局限性,如今注意力已成為 Transformer 等現代架構的基礎構建模塊。
注意力機制是一類允許神經網絡在生成輸出的每個元素時有選擇地關注輸入相關部分的技術。最初引入是為了克服序列到序列模型中固定長度上下文向量的局限性,如今注意力已成為 Transformer 等現代架構的基礎構建模塊。