这是一个造轮子的过程，但是从头构建LSTM能够使我们对体系结构进行更加了解，并将我们的研究带入下一个层次。
LSTM单元是递归神经网络深度学习研究领域中最有趣的结构之一：它不仅使模型能够从长序列中学习，而且还为长、短期记忆创建了一个数值抽象，可以在需要时相互替换。
在这篇文章中，我们不仅将介绍LSTM单元的体系结构，还将通过PyTorch手工实现它。
最后但最不重要的是，我们将展示如何对我们的实现做一些小的调整，以实现一些新的想法，这些想法确实出现在LSTM研究领域，如peephole。
LSTM体系结构
LSTM被称为门结构：一些数学运算的组合，这些运算使信息流动或从计算图的那里保留下来。因此，它能够“决定”其长期和短期记忆，并输出对序列数据的可靠预测：
LSTM单元中的预测序列。注意，它不仅会传递预测值，而且还会传递一个c，c是长期记忆的代表
遗忘门
遗忘门（forget gate）是输入信息与候选者一起操作的门，作为长期记忆。请注意，在输入、隐藏状态和偏差的第一个线性组合上，应用一个sigmoid函数：
sigmoid将遗忘门的输出“缩放”到0-1之间，然后，通过将其与候选者相乘，我们可以将其设置为0，表示长期记忆中的“遗忘”，或者将其设置为更大的数字，表示我们从长期记忆中记住的“多少”。
新型长时记忆的输入门及其解决方案
输入门是将包含在输入和隐藏状态中的信息组合起来，然后与候选和部分候选c''u t一起操作的地方：
在这些操作中，决定了多少新信息将被引入到内存中，如何改变——这就是为什么我们使用tanh函数（从-1到1）。我们将短期记忆和长期记忆中的部分候选组合起来，并将其设置为候选。
单元的输出门和隐藏状态（输出）
之后，我们可以收集o_t作为LSTM单元的输出门，然后将其乘以候选单元（长期存储器）的tanh，后者已经用正确的操作进行了更新。网络输出为h_t。
