开发者社区> 问答> 正文

BERT和ELMo两者也什么不同?

BERT和ELMo两者也什么不同?

展开
收起
洛叶000 2022-05-11 09:26:06 544 0
1 条回答
写回答
取消 提交回答
  • 1、BERT使用的是autoencoder架构,使用attention来统一建模整体信息,而ELMo对左右信息分别建模; 2、BERT使用Transformer建模,ELMo基于LSTM/RNN建模; 3、BERT较重与下游任务联合Finetune,ELMo较轻与下游任务以特征结合。

    2022-05-11 13:36:50
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
ImageNet:VGGNet,ResNet,Incepti 立即下载
展心展力MetaApp:基于DeepRec的稀疏模型训练实践 立即下载
LoRa in LPWAN 立即下载