【NLP】(task3下)预训练语言模型——GPT-2
OpenAI GPT-2( https://openai.com/blog/better-language-models/)表现出了令人印象深刻的能力，它能够写出连贯而充满激情的文章，这超出了我们当前对语言模型的预期效果。GPT-2 不是一个特别新颖的架构，而是一种与 Transformer 解码器非常类似的架构。不过 GPT-2 是一个 巨大的、基于 Transformer 的语言模型（只有 Decoder 的 Transformer），它是在一个巨大的数据集上训练的。