讲座聚焦对话智能,介绍了达摩院在对话智能方面实施的技术方案以及大规模应用。依托丰富的实施经验和多年的技术沉淀,达摩院对话智能在自然语言理解、多轮对话管理、智能问答、多模态对话等多个领域取得了不错的效果,其智能客服机器人已经大规模应用于金融、政务、医疗、运营商等多个行业。
李永彬老师以2020年1月疫情爆发初期达摩院研发的“疫情防控智能服务平台”为例,生动讲述了对话智能的难点和解决难点的技术。“疫情防控智能服务平台”包含疫情智能外呼、疫情文本智能机器人、热线智能导航等功能,可以解答“温州北高速收费站是否可以通行”等问题,可以帮助卫健委疾控部门对与确诊病例同乘交通工具的人员开展14天跟踪排查,服务于全国57个城市,累积外呼1600万,多轮对话完成率90%以上,成为全国最大的智能外呼平台。
疫情防控智能服务平台在搭建过程中存在三个难点:一是如何解决低资源小样本下的理解问题;二是如何解决带推理的深层语义理解问题;三是如何让规则化的多轮对话管理具备数据学习能力问题。
针对如何解决低资源小样本下的理解问题,达摩院首次将Few-shot learning小样本学习技术引用到对话系统。小样本学习技术适用于场景应用具体但训练样本少的情况。其训练过程是从庞大的数据集中每次采样较少的类,每个类采样K个样本(小样本)构成训练集,从剩余样本中构建测试集,由此形成元任务进行分类学习。小样本能够训练的关键在于整个数据集数量庞大,虽然每轮训练的样本少,但可训练的轮数多,因此小样本训练模型具有强大的泛化能力。该技术初期用于图像领域包括孪生网络、匹配网络、原型网络、关系网络等,达摩院将小样本学习在图像领域的应用总结提炼出“编码—归纳—关系”的框架,把样本数据编码为样本表示,再结合语义归纳为类表示,最后根据语义关系计算得到结果。
为了解决自然语言处理在归纳能力和记忆能力方面效果不佳的问题,达摩院提出归纳机制,引入胶囊网络的表达方式和动态路由的计算算法,构建从“样本表示”到更抽象的“类表示”的归纳机制。在记忆能力方面,达摩院提出动态记忆机制,设计出动态记忆方法使用全局记忆来解决小样本遗忘问题,设计寻找增强归纳方法对寻找要素进行样本匹配,找出最相关的样本,解决样本多样性难归纳的问题。实验表明,归纳机制和动态记忆机制在英文公开数据集和中文意图分类数据集上都取得了最好效果。
针对如何解决带推理的深层语义理解问题,达摩院设计了CoAMR Parsing算法深层次理解语义。鉴于AMR抽象语义表示体系的特点——以概念为中心便于对语义进行抽象和后续理解,具有相对完整的语义关系体系,达摩院吸收了AMR的优点,设计了面向人机对话的抽象语义表示CoAMR,同时简化修改通用概念以及建立核心关系和非核心关系的语义体系,解决了AMR模型复杂的问题。在对具体场景数据进行标识的基础上,使用CoAMR模型进行深层语义的训练。
针对如何让规则化的多轮对话管理具备数据学习能力的问题。达摩院发现,多轮对话训练的核心难点在于训练数据获取难、标注难。因此在数据获取方面,达摩院引入用户模拟器,使得对话机器人和用户模拟器互相对话,两个机器在对话中产生大量的标注数据,突破了数据约束。在数据标注方面,引入多场景知识迁移模型,实现了对话管理模型的迁移学习,在小样本模型下效果提升4-5个百分点。
最后,李永彬老师分析了对话智能的未来研究趋势。李永彬老师分析认为,未来对话智能领域有七大研究方向:预训练对话模型、多引擎统一对话、多模态对话、对话式营销、复杂推理能力、符号知识和神经网路机制的融合、终身学习的对话智能系统。
本次讲座技术内容丰富,兼具技术理论的前沿性和工业应用的实践性,抓住当前自然语言处理的难点和技术处理路线进行了详细分析,同学们纷纷表示收获很大,并对感兴趣的问题与李永彬老师进行了互动交流(彭文文录)。