开发者社区> 问答> 正文

Transformer结构主要包含哪些部分?

Transformer结构主要包含哪些部分?

展开
收起
夹心789 2024-07-04 12:09:09 84 0
4 条回答
写回答
取消 提交回答
  • 8fb735fe22fc57e3ef16dc51c2ccec99_v2-55a514db9f8769caca92795bb7d710aa.jpg

    图3. transformer的encoder和decoder结构图
    可以看到transformer整体可以分为5部分:1. Encoders输入;2. Encoders;3. Decoders输入;4.Decoders;5. Transformer输出。下面将按照这5个部分,深入的介绍transformer。

    image.png

    参考文档https://zhuanlan.zhihu.com/p/637741707

    2024-07-06 09:22:49
    赞同 展开评论 打赏
  • Transformer模型总体架构包括四个主要部分:输入部分、编码器部分、解码器部分和输出部分。
    image.png

    ——参考链接

    2024-07-05 22:52:00
    赞同 展开评论 打赏
  • Transformer结构主要包含输入嵌入层,位置编码,前馈神经网络,层归一化

    2024-07-04 19:57:06
    赞同 2 展开评论 打赏
  • Transformer结构主要包含attention结构和MLP(多层感知器)结构。

    2024-07-04 13:45:28
    赞同 1 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载