Seq2Seq、SeqGAN、Transformer…你都掌握了吗？一文总结文本生成必备经典模型（2）-阿里云开发者社区

SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient

这篇文章用对抗网络实现了离散序列数据的生成模型，解决了对抗生成网络难应用于nlp领域的问题，并且在文本生成任务上有优异表现。

图5. SeqGAN图示。左图：D通过真实数据和G生成的数据进行训练。G通过策略梯度进行训练，最终的奖励信号由D提供，并通过蒙特卡洛搜索传递回中间的行动值

序列生成问题表示如下。给定一个真实世界结构化序列的数据集，训练一个θ参数化的生成模型Gθ来生成一个序列Y_1:T=（y_1, ..., y_t, ..., y_T），y_t∈Y，其中Y是候选标记的词汇表。作者根据强化学习来解释这个问题。在时间步骤t中，状态s是当前产生的token（y_1, ..., y_t-1），行动a是要选择的下一个token y_t。因此，策略模型Gθ(y_t|Y_1:t-1)是随机的，而在选择了一个行动后，状态转换是确定的，即如果当前状态s=Y_1:t-1，行动a=y_t，则下一个状态s’=Y_1:t的(δ_s,s’)^a=1；对于其他下一个状态s''，(δ_s,s'')^a=0。此外，还训练了一个φ参数化的鉴别模型Dφ，为改进生成器Gθ提供指导。Dφ(Y_1:T )是一个概率，表示一个序列Y_1:T来自真实序列数据的可能性。通过提供来自真实序列数据的正样本和来自生成模型Gθ生成的合成序列的负样本来训练鉴别模型Dφ。同时，生成模型Gθ通过采用策略梯度和MC搜索，根据从鉴别模型Dφ得到的预期最终奖励进行更新。奖励是通过骗过鉴别模型Dφ的可能性来估计的。生成器模型（策略）Gθ(y_t|Y_1:t-1)的目标是从起始状态s'生成一个序列，使其预期的最终奖励最大化：

(Q_Dφ(s, a))^Gθ是一个序列的行动价值函数，即从状态s开始，采取行动a，然后遵循策略Gθ的预期累积奖励。序列的目标函数的合理性是：从一个给定的初始状态开始，生成器的目标是生成一个能使鉴别器认为它是真实的序列。使用REINFORCE算法，将鉴别器Dφ((Y_1:T)^n)估计的真实概率作为奖励：

由上式，state指的当前timestep之前的decode结果，action指的当前待解码词，D网络鉴别伪造数据的置信度即为奖励，伪造数据越逼真则相应奖励越大，但该奖励是总的奖励，分配到每个词选择上的reward则采用了以下的近似方法：

即当解码到t时，对后面T-t个timestep采用蒙特卡洛搜索搜索出N条路径，将这N条路径分别和已经decode的结果组成N条完整输出，然后将D网络对应奖励的平均值作为reward。当t=T时无法再向后探索路径，所以直接以完整decode结果的奖励作为reward。蒙特卡洛搜索是指在选择下一个节点的时候用蒙特卡洛采样的方式，而蒙特卡洛采样是指根据当前输出词表的置信度随机采样。完整算法流程如下：

随机初始化G网络和D网络参数；通过MLE预训练G网络，目的是提高G网络的搜索效率；通过G网络生成部分负样预训练D网络；通过G网络生成sequence用D网络去评判，得到reward：

根据上式（4）计算得到每个action选择得到的奖励并求得累积奖励的期望，以此为loss function，并求导对网络进行梯度更新。其中，下式是标准的D网络误差函数，训练目标是最大化识别真实样本的概率，最小化误识别伪造样本的概率：

最后，GAN网络的误差函数如上，循环以上过程直至收敛。

当前 SOTA！平台收录 SeqGAN 共 22 个模型实现资源，支持的主流框架包含 PyTorch、TensorFlow 等。

项目	SOTA！平台项目详情页
SeqGAN	前往 SOTA！模型平台获取实现资源：https://sota.jiqizhixin.com/project/seqgan

Attention is all you need

2017 年，Google 机器翻译团队发表的《Attention is All You Need》完全抛弃了RNN和CNN等网络结构，而仅仅采用Attention机制来完成机器翻译任务，并且取得了很好的效果，注意力机制也成为了研究热点。大多数竞争性神经序列转导模型都有一个编码器-解码器结构。编码器将输入的符号表示序列（x1, ..., xn）映射到连续表示的序列z=（z1, ..., zn）。给定z后，解码器每次生成一个元素的符号输出序列（y1, ..., ym）。在每个步骤中，该模型是自动回归的，在生成下一个符号时，将先前生成的符号作为额外的输入。Transformer遵循这一整体架构，在编码器和解码器中都使用了堆叠式自注意力和点式全连接层，分别在图6的左半部和右半部显示。

图6. Transformer架构

编码器。编码器是由N=6个相同的层堆叠而成。每层有两个子层。第一层是一个多头自注意力机制，第二层是一个简单的、按位置排列的全连接前馈网络。在两个子层的每一个周围采用了一个残差连接，然后进行层的归一化。也就是说，每个子层的输出是LayerNorm(x + Sublayer(x))，其中，Sublayer(x)是子层本身实现的函数。为了方便这些残差连接，模型中的所有子层以及嵌入层都会生成尺寸为dmodel=512的输出。

解码器。解码器也是由N=6个相同的层组成的堆栈。除了每个编码器层的两个子层之外，解码器还插入了第三个子层，它对编码器堆栈的输出进行多头注意力。与编码器类似，在每个子层周围采用残差连接，然后进行层归一化。进一步修改了解码器堆栈中的自注意力子层，以防止位置关注后续位置。这种masking，再加上输出嵌入偏移一个位置的事实，确保对位置i的预测只取决于小于i的位置的已知输出。

Attention。注意力函数可以描述为将一个查询和一组键值对映射到一个输出，其中，查询、键、值和输出都是向量。输出被计算为值的加权和，其中分配给每个值的权重是由查询与相应的键的兼容性函数计算的。在Transformer中使用的Attention是Scaled Dot-Product Attention, 是归一化的点乘Attention，假设输入的query q 、key维度为dk，value维度为dv , 那么就计算query和每个key的点乘操作，并除以dk ，然后应用Softmax函数计算权重。Scaled Dot-Product Attention的示意图如图7（左）。

图7. (左)按比例的点乘法注意力。(右)多头注意力由几个平行运行的注意力层组成

如果只对Q、K、V做一次这样的权重操作是不够的，这里提出了Multi-Head Attention，如图7（右）。具体操作包括：

首先对Q、K、V做一次线性映射，将输入维度均为dmodel 的Q、K、V 矩阵映射到Q∈Rm×dk，K∈Rm×dk，V∈Rm×dv；
然后在采用Scaled Dot-Product Attention计算出结果；
多次进行上述两步操作，然后将得到的结果进行合并；
将合并的结果进行线性变换。

在完整的架构中，有三处Multi-head Attention模块，分别是：

Encoder模块的Self-Attention，在Encoder中，每层的Self-Attention的输入Q=K=V , 都是上一层的输出。Encoder中的每个位置都能够获取到前一层的所有位置的输出。
Decoder模块的Mask Self-Attention，在Decoder中，每个位置只能获取到之前位置的信息，因此需要做mask，其设置为−∞。
Encoder-Decoder之间的Attention，其中Q 来自于之前的Decoder层输出，K、V 来自于encoder的输出，这样decoder的每个位置都能够获取到输入序列的所有位置信息。

在进行了Attention操作之后，encoder和decoder中的每一层都包含了一个全连接前向网络，对每个位置的向量分别进行相同的操作，包括两个线性变换和一个ReLU激活输出：

因为模型不包括recurrence/convolution，因此是无法捕捉到序列顺序信息的，例如将K、V按行进行打乱，那么Attention之后的结果是一样的。但是序列信息非常重要，代表着全局的结构，因此必须将序列的token相对或者绝对位置信息利用起来。这里每个token的position embedding 向量维度也是dmodel=512, 然后将原本的input embedding和position embedding加起来组成最终的embedding作为encoder/decoder的输入。其中，position embedding计算公式如下：