Translations:Attention Mechanisms/1/zh
注意力机制是一类允许神经网络在生成输出的每个元素时有选择地关注输入相关部分的技术。最初引入是为了克服序列到序列模型中固定长度上下文向量的局限性,如今注意力已成为 Transformer 等现代架构的基础构建模块。
注意力机制是一类允许神经网络在生成输出的每个元素时有选择地关注输入相关部分的技术。最初引入是为了克服序列到序列模型中固定长度上下文向量的局限性,如今注意力已成为 Transformer 等现代架构的基础构建模块。