一、Seq2Seq Model

Shortcoming: The final state is incapable of remembering a long sequence.

二、Seq2Seq Model with Attention

Attention tremendously improves Seq2Seq model.（Attention极大地改善Seq2Seq 模型）

With attention, Seq2Seq model does not forget source input.

With attention, the decoder knows where to focus.（decoder 更新状态的时候，都会再看一遍encoder所有状态，这样就不会遗忘；attention还可以告诉decoder应该关注encoder哪个状态）

Downside: much more computation.（缺点：更多的计算）

https://distill.pub/2016/augmented-rnns/

2.1 SimpleRNN + Attention

在Encoder结束工作之后，Decoder 和Attention同时开始工作。

encoder的所有状态都要保留下来，这里需要计算S0 与每一个h的相关性。

α1，α2，α3，···αm都是介于（0,1）之间的实数，所有α相加等于1。

2.1.1 权重计算αi

方法一： (used in the original paper):在原始论文中使用

方法二：(more popular; the same to Transformer)

2.1.2 Context vector Ci

2.2 Time Complexity（时间复杂度）

问题：How many weights ai have been computed? （我们共计算了多少权重ai）

To compute one vector Ci ，we compute m weights: α1，α2，α3，···αm 。（想要计算出一个 Ci ，我们需要计算m个权重α1，α2，α3，···αm）

The decoder has t states, so there are totally mt weights.（假设Decoder运行了t步，那么一共计算了 mt 个权重，因此时间复杂度mt）

三、Summary（总结）

Standard Seq2Seq model: the decoder looks at only its current state.（标准的Seq2Seq模型：decoder基于当前状态来产生下一个状态，这样产生的新状态可能忘记了encoder的部分输入）

Attention: decoder additionally looks at all the states of the encoder.（注意力机制：decoder 在产生下一个状态之前，会先看一遍encoder的所有状态，于是decoder会知道encoder的完整信息，并不会遗忘）

Attention: decoder knows where to focus.（注意力机制：除了解决遗忘的信息，attention还会告诉decoder应该关注encoder的哪一个状态）

Downside: higher time complexity.（缺点：计算量太大）

m: source sequence length （假设输入encoder的序列长度为m）

t: target sequence length （decoder输出的序列长度为t）

Standard Seq2Seq: O(m + t ) time complexity （标准的Seq2Seq：只需要让encoder读一遍输入序列，之后不再看encoder的输入，然后让decoder依次生成输出序列）

Seq2Seq + attention: O(mt) time complexity（decoder每一次更新状态，都要把encoder的m个状态看一遍，所以每次的时间复杂度为m，decoder自己有t个状态，因此总时间复杂度是mt。

使用attention可以提高准确率，要付出更多的计算。