根据Gartner2020的报告,企业中80%以上的数据,都是以非结构化形式存在的,而文档在其中的占比最为突出。其中,在政务、保险、电力、医疗等9个行业中,文档应用非常广泛。
MRC技术在落地过程中遇到的第一个挑战就是模型太大,性能、效果一般;我们的解决方向是打造了以半参数化神经网络为基础的文档对话机器人Doc2Bot;之前的机器阅读,是根据问题在文档中进行生成或者查找,在理念良好的情况下,落地会遇到非常多的问题。
而当Doc2Bot收到文档时,会采用一系列的知识发现技术,把整个文档转化成结构化的知识数据库。紧接着根据用户问题进行知识定位,然后生成答案。通过半参数化的方式,把知识进行外部存储,用神经网络进行推理并生成答案,最终实现知识存储和模型推理的分离。
通过上述方式带来的好处是,大量工作在离线完成,在线模型性能,不管是延迟、QTS等可以快速大幅提升。除此之外,由于知识已经结构化,所以效果会更加精准。
接下来,问绕着文档对话我们生成了可开箱即用的Space-D大模型。Space-D把知识发现和文档对话,进行统一预训练。无论是知识发现、知识定位、回复生成等任务,都会在大模型里进行统一建模。基于Space-D,我们可以把DocBot文档对话机器人在阿里云智能客服中进行落地。
通过SPACE-D技术,想进一步使文档对话机器人做到可信赖、可解释。我们希望机器人能够言之有据、言之有理。言之有据指的是当用户提出问题时,不仅能给出答案,还能在文档中找到引用。
言之有理则是指,希望这个模型具备一定的推理能力。我们基于SPACE-D的大模型,提出基于思维链、模仿人类的思维探测方法。将人类推理思考的过程和Space-D结合在一起,从而使模型具备推理能力;基于思维链的推理能力,在国际权威常识推理榜单Commonsense2.0中,取得了第一名的成绩。
以上就是阿里云智能客服在对话方面取得的一些核心成果。简单总结下,打造了通义对话大模型SPACE体系。
在任务型对话方面,基于SPACE模型打造了分布式对话智能的能力。
在表格方面,打造了SPACE-T模型,实现了客服问答的开箱即用落地,同时把技术能力推广到智能BI领域。
在文档领域,打造了SPACE-D模型,让文档对话在不同业务领域落地,同时探索可解释、可信赖方向进行了积极探索;在一些场景能够做到言之有理、言之有据。
达摩院对话智能一直在用基础研究开拓业务落地的边界。整个团队在过去六个月一共发表了21篇国际顶会论文。在10月份放榜的EMNLP 2022会议上,一次性上榜十篇论文。意味着在全球范围内,无论面对企业、个人,都取得了首屈一指的成绩。
面向未来,我们希望会继续在基础研究和业务落地相互促进的道路上前进,尽快实现人机自由对话的理想