【深度学习】大语言模型系列-Transformer
Transformer是一种深度学习模型，最初由Vaswani等人在2017年的论文《Attention is All You Need》中提出，它彻底革新了自然语言处理（NLP）领域。在此之前，循环神经网络（RNNs）及其变体，如长短期记忆网络（LSTMs）和门控循环单元（GRUs），是处理序列数据（包括文本）的主流方法。然而，Transformer通过引入自注意力（self-attention）机制，解决了RNNs在处理长序列时存在的梯度消失、计算速度慢等问题，实现了并行化计算，大大提高了训练效率
