开发者社区 问答 正文

BERT和ELMo两者也什么不同?

BERT和ELMo两者也什么不同?

展开
收起
游客n3klsubffc466 2022-05-09 19:45:37 783 分享 版权
1 条回答
写回答
取消 提交回答
  • 1、BERT使用的是autoencoder架构,使用attention来统一建模整体信息,而ELMo对左右信息分别建模; 2、BERT使用Transformer建模,ELMo基于LSTM/RNN建模; 3、BERT较重与下游任务联合Finetune,ELMo较轻与下游任务以特征结合。

    2022-05-09 20:34:30
    赞同 展开评论
问答地址: