在多模态预测模型的基础上,用户可以针对于下游任务,做一些通用的开放域问答、电商域问答等等。
阿里云基于统一的模块化、多模态、大模型底座mPLUG,结合千亿级行业知识图谱的知识沉淀,采用层次化多任务预训练,构建了国内首个“知识交互”零售行业大模型,让商品“更懂”消费者和商家。
从技术层面来讲,阿里云结合通用数据、电商知识、多模态信息,进行层次化预训练。将千亿级零售知识注入行业大模型,让行业大模型反哺知识挖掘任务。除此之外,mPLUG模块化多模态的网络,统一支持NLP、多模态任务。
目前,mPLUG也已广泛应用于主搜、拍立淘、闲鱼、阿里妈妈、数字人、店小蜜等多个阿里电商核心场景,大幅提升业务效果。
除此之外,阿里云基于mPLUG通用底座,进一步对话任务预训练和微调,层次化赋能开放域对话,构建基于对话大模型的知识、情感、个性、记忆,四位一体的开放域对话大模型。
在知识方面,阿里云结合检索进行实时的知识储备,实现开放域知识对话。
在情感方面,阿里云希望模型具备有温度、共情的对话能力。能够让模型具有不同人设、自定义的对话风格。
在记忆方面,阿里云将通过长期记忆、短期记忆融合,让模型记住用户偏好,让回答更一致。
针对任务对话,阿里云构建了通义SPACE,主要针对任务流或特定任务,进行知识融入的预训练大模型。为此,阿里云提出了半监督模式,向预训练对话模型中注入人类标注知识,打造SPACE-1/2/3系列模型。
其中,SPACE-1融合了对话策略知识;SPACE-2融合了对话理解知识;SPACE-3集理解/策略/生成一体。基于SPACE的对话训练模型,不仅在国际对话榜单中多次取得第一,而且应用在阿里巴巴内部的场景。
接下来,讲一讲通义SPACE-T,主要面向多表多轮的表格预训练模型。用户可以用自然语言对表格进行查询,方便用户获取表格信息。基于表格训练模型,阿里云在表格问答的知名榜单上取得了第一,并发表了顶会论文。