开发者社区 问答 正文

Perceiver AR是如何解决自回归生成中的问题的?

Perceiver AR是如何解决自回归生成中的问题的?

展开
收起
夹心789 2024-06-30 21:37:15 62 分享 版权
1 条回答
写回答
取消 提交回答
  • Perceiver AR通过引入隐空间处理顺序、在交叉注意力机制中使用因果掩码,以及在隐空间堆栈中使用因果掩码自注意力,解决了自回归生成中的问题。这些改良确保了每个输出都依赖于之前所有的输入,有利于抓取长期依赖性。

    2024-06-30 22:45:23
    赞同 1 展开评论
问答分类:
问答标签:
问答地址: