开发者社区 > ModelScope模型即服务 > 自然语言处理 > 正文

预训练对话模型跟预训练语言模型有啥区别

预训练对话模型跟预训练语言模型有啥区别

展开
收起
-ssz 2022-10-31 11:10:32 1855 0
2 条回答
写回答
取消 提交回答
  • 你好,感谢您对ModelScope的关注!
    预训练语言模型本质上还是语言模型,需要回答什么样的句子更像自然语言,一般基于以维基百科为代表的自然文本来做预训练;预训练对话模型本质上是对话模型,需要在给定对话历史情况下,回复什么样的回复更为合理,一般是基于对话语料来做预训练。

    2022-11-08 17:08:09
    赞同 展开评论 打赏
  • 预训练对话模型是在通用预训练模型基础上,引入对话独特的数据和预训练范式,以及注入知识增强模型在对话场景的能力。

    2022-11-04 14:20:19
    赞同 1 展开评论 打赏

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

相关电子书

更多
展心展力MetaApp:基于DeepRec的稀疏模型训练实践 立即下载
基于视觉推理的视频理解 立即下载
弱监督机器学习范式 立即下载