Transformer基础结构
Transformer是Vaswani等人于2017年提出的基于注意力机制的神经网络，采用编码器-解码器架构，核心创新包括自注意力、位置编码、残差连接与层归一化，支持并行计算并有效捕捉长距离依赖，广泛应用于自然语言处理任务。
构建AI智能体：九十、图解大模型核心三大件 — 输入编码、注意力机制与前馈网络层
本文深入解析了大模型三大核心技术：输入编码、多头自注意力机制和前馈网络层，从应用视角阐述了它们的工作原理和协同效应。输入编码负责将文本转换为富含语义和位置信息的数学表示；多头自注意力机制通过多专家团队模式建立全局依赖关系，解决长距离依赖问题；前馈网络层则通过非线性变换进行深度语义消歧。文章通过可视化示例展示了词向量的语义关系建模、注意力权重的分布模式以及前馈网络的语义过滤功能，形象地说明了大模型如何通过这三层架构实现"广泛联系-深度加工"的认知过程。
