早期的序列到序列模型使用 循环神经网络 将整个输入序列编码为一个固定维度的向量。这种瓶颈迫使长程依赖被压缩到一个固定大小的向量中,从而降低了长序列上的性能。注意力机制通过让解码器在每个生成步骤都能查询编码器的所有隐藏状态、并按学习到的相关性得分对它们加权,从而解决了这一问题。
