4.编码器模型架构（Seq2Seq）
在开始构建seq2seq模型之前，我们需要创建一个Encoder，Decoder，并在seq2seq模型中创建它们之间的接口。
让我们通过德语输入序列“ Ich Liebe Tief Lernen”，该序列翻译成英语“ I love deep learning”。
LSTM编码器体系结构。X轴对应于时间步长，Y轴对应于批量大小
为了便于说明，让我们解释上图中的过程。Seq2Seq模型的编码器一次只接受一个输入。我们输入的德语单词序列为“ ich Liebe Tief Lernen”。
另外，我们在输入句子的开头和结尾处附加序列“ SOS”的开头和句子“ EOS”标记的结尾。
因此在
- 在时间步0，发送“ SOS”
- 在时间步1，发送“ ich”
- 在时间步2，发送“ Liebe”
- 在时间步3，发送“ Tief”
- 在时间步4，发送“ Lernen”
- 在时间步5，发送“ EOS”
编码器体系结构中的第一个块是单词嵌入层（以绿色块显示），该层将输入的索引词转换为被称为词嵌入的密集向量表示（大小为100/200/300）。
然后我们的词嵌入向量被发送到LSTM单元，在这里它与隐藏状态（hs）组合，并且前一个时间步的单元状态（cs）组合，编码器块输出新的hs和cs到下一个LSTM单元。可以理解，到目前为止，hs和cs捕获了该句子的某些矢量表示。
在时间步0，隐藏状态和单元状态被完全初始化为零或随机数。
然后，在我们发送完所有输入的德语单词序列之后，最终获得上下文向量[以黄色块显示]（hs，cs），该上下文向量是单词序列的密集表示形式，可以发送到解码器的第一个LSTM（hs ，cs）进行相应的英语翻译。
在上图中，我们使用2层LSTM体系结构，其中将第一个LSTM连接到第二个LSTM，然后获得2个上下文向量，这些向量堆叠在顶部作为最终输出。
我们必须在seq2seq模型中设计相同的编码器和解码器模块。
以上可视化适用于批处理中的单个句子。
假设我们的批处理大小为5，然后一次将5个句子（每个句子带有一个单词）传递给编码器，如下图所示。
LSTM编码器的批处理大小为5。X轴对应于时间步长，Y轴对应于批处理大小。
5.编码器代码实现（Seq2Seq）
classEncoderLSTM(nn.Module): def__init__(self, input_size, embedding_size, hidden_size, num_layers, p): super(EncoderLSTM, self).__init__() #Sizeoftheonehotvectorsthatwillbetheinputtotheencoderself.input_size=input_size#OutputsizeofthewordembeddingNNself.embedding_size=embedding_size#DimensionoftheNN's inside the lstm cell/ (hs,cs)'sdimension. self.hidden_size=hidden_size#Numberoflayersinthelstmself.num_layers=num_layers#Regularizationparameterself.dropout=nn.Dropout(p) self.tag=True#Shape--------------------> (5376, 300) [inputsize, embeddingdims] self.embedding=nn.Embedding(self.input_size, self.embedding_size) #Shape-----------> (300, 2, 1024) [embeddingdims, hiddensize, numlayers] self.LSTM=nn.LSTM(self.embedding_size, hidden_size, num_layers, dropout=p) #Shapeofx (26, 32) [Sequence_length, batch_size] defforward(self, x): #Shape-----------> (26, 32, 300) [Sequence_length , batch_size , embeddingdims] embedding=self.dropout(self.embedding(x)) #Shape-->outputs (26, 32, 1024) [Sequence_length , batch_size , hidden_size] #Shape--> (hs, cs) (2, 32, 1024) , (2, 32, 1024) [num_layers, batch_sizesize, hidden_size] outputs, (hidden_state, cell_state) =self.LSTM(embedding) returnhidden_state, cell_stateinput_size_encoder=len(german.vocab) encoder_embedding_size=300hidden_size=1024num_layers=2encoder_dropout=float(0.5) encoder_lstm=EncoderLSTM(input_size_encoder, encoder_embedding_size, hidden_size, num_layers, encoder_dropout).to(device) print(encoder_lstm) ************************************************OUTPUT************************************************EncoderLSTM( (dropout): Dropout(p=0.5, inplace=False) (embedding): Embedding(5376, 300) (LSTM): LSTM(300, 1024, num_layers=2, dropout=0.5) )
6.解码器模型架构（Seq2Seq）
解码器一次也执行单个步骤。
提供来自编码器块的上下文向量，作为解码器的第一个LSTM块的隐藏状态（hs）和单元状态（cs）。
句子“ SOS”令牌的开头被传递到嵌入的NN，然后传递到解码器的第一个LSTM单元，最后，它经过一个线性层[以粉红色显示]，该层提供输出的英语令牌预测 概率（4556个概率）[4556 —如英语的总词汇量一样]，隐藏状态（hs），单元状态（cs）。
选择4556个值中概率最高的输出单词，将隐藏状态（hs）和单元状态（cs）作为输入传递到下一个LSTM单元，并执行此过程，直到到达句子“ EOS”的结尾 ”。
后续层将使用先前时间步骤中的隐藏状态和单元状态。
除其他块外，您还将在Seq2Seq架构的解码器中看到以下所示的块。
在进行模型训练时，我们发送输入（德语序列）和目标（英语序列）。从编码器获得上下文向量后，我们将它们和目标发送给解码器进行翻译。
但是在模型推断期间，目标是根据训练数据的一般性从解码器生成的。因此，将输出的预测单词作为下一个输入单词发送到解码器，直到获得<EOS>令牌。
因此，在模型训练本身中，我们可以使用 teach force ratio（暂译教力比）控制输入字到解码器的流向。
我们可以在训练时将实际的目标词发送到解码器部分（以绿色显示）。
我们还可以发送预测的目标词，作为解码器的输入（以红色显示）。
发送单词（实际目标单词或预测目标单词）的可能性可以控制为50％，因此在任何时间步长，在训练过程中都会通过其中一个。
此方法的作用类似于正则化。因此，在此过程中，模型可以快速有效地进行训练。
以上可视化适用于批处理中的单个句子。假设我们的批处理大小为4，然后一次将4个句子传递给编码器，该编码器提供4组上下文向量，它们都被传递到解码器中，如下图所示。
7.解码器代码实现（Seq2Seq）
classDecoderLSTM(nn.Module): def__init__(self, input_size, embedding_size, hidden_size, num_layers, p, output_size): super(DecoderLSTM, self).__init__() #Sizeoftheonehotvectorsthatwillbetheinputtotheencoderself.input_size=input_size#OutputsizeofthewordembeddingNNself.embedding_size=embedding_size#DimensionoftheNN's inside the lstm cell/ (hs,cs)'sdimension. self.hidden_size=hidden_size#Numberoflayersinthelstmself.num_layers=num_layers#Sizeoftheonehotvectorsthatwillbetheoutputtotheencoder (EnglishVocabSize) self.output_size=output_size#Regularizationparameterself.dropout=nn.Dropout(p) self.tag=True#Shape--------------------> (5376, 300) [inputsize, embeddingdims] self.embedding=nn.Embedding(self.input_size, self.embedding_size) #Shape-----------> (300, 2, 1024) [embeddingdims, hiddensize, numlayers] self.LSTM=nn.LSTM(self.embedding_size, hidden_size, num_layers, dropout=p) #Shape-----------> (1024, 4556) [embeddingdims, hiddensize, numlayers] self.fc=nn.Linear(self.hidden_size, self.output_size) #Shapeofx (32) [batch_size] defforward(self, x, hidden_state, cell_state): #Shapeofx (1, 32) [1, batch_size] x=x.unsqueeze(0) #Shape-----------> (1, 32, 300) [1, batch_size, embeddingdims] embedding=self.dropout(self.embedding(x)) #Shape-->outputs (1, 32, 1024) [1, batch_size , hidden_size] #Shape--> (hs, cs) (2, 32, 1024) , (2, 32, 1024) [num_layers, batch_sizesize, hidden_size] (passingencoder's hs, cs - context vectors)outputs, (hidden_state, cell_state) = self.LSTM(embedding, (hidden_state, cell_state))# Shape --> predictions (1, 32, 4556) [ 1, batch_size , output_size]predictions = self.fc(outputs)# Shape --> predictions (32, 4556) [batch_size , output_size]predictions = predictions.squeeze(0)return predictions, hidden_state, cell_stateinput_size_decoder = len(english.vocab)decoder_embedding_size = 300hidden_size = 1024num_layers = 2decoder_dropout = float(0.5)output_size = len(english.vocab)decoder_lstm = DecoderLSTM(input_size_decoder, decoder_embedding_size,hidden_size, num_layers, decoder_dropout, output_size).to(device)print(decoder_lstm)************************************************ OUTPUT ************************************************DecoderLSTM((dropout): Dropout(p=0.5, inplace=False)(embedding): Embedding(4556, 300)(LSTM): LSTM(300, 1024, num_layers=2, dropout=0.5)(fc): Linear(in_features=1024, out_features=4556, bias=True))
8.Seq2Seq（编码器+解码器）接口
单个输入语句的最终seq2seq实现如下图所示。
- 提供输入（德语）和输出（英语）句子
- 将输入序列传递给编码器并提取上下文向量
- 将输出序列传递给解码器，以及来自编码器的上下文向量，以生成预测的输出序列
以上可视化适用于批处理中的单个句子。假设我们的批处理大小为4，然后一次将4个句子传递给编码器，该编码器提供4组上下文向量，它们都被传递到解码器中，如下图所示。
