热门
预训练对话模型跟预训练语言模型有啥区别
你好,感谢您对ModelScope的关注! 预训练语言模型本质上还是语言模型,需要回答什么样的句子更像自然语言,一般基于以维基百科为代表的自然文本来做预训练;预训练对话模型本质上是对话模型,需要在给定对话历史情况下,回复什么样的回复更为合理,一般是基于对话语料来做预训练。
预训练对话模型是在通用预训练模型基础上,引入对话独特的数据和预训练范式,以及注入知识增强模型在对话场景的能力。
包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域