MTSS: Learn from Multiple Domain Teachers and Become a Multi-domain Dialogue Expert

【AAAI 2020 阿里巴巴论文】

技术创新点:

1. 针对多领域对话系统的特点，提出Multiple-Teacher Single-Student (MTSS) 模型，每一个 Teacher 模型对应一个特定领域的对话模型，这些单领域的对话 Teacher 模型 将各自的领域知识和对话策略通过知识蒸馏的方式辅助 Student 模型的优化。
2. 对于MTSS的模型蒸馏过程, 我们提出从 text-level 和 policy-level 两个 level 进行知识蒸馏，分别考虑了文本信息和策略信息。

与业务的结合:

1. 多领域对话在智能服务的场景中占据着越来越重要的地位，例如：对于节假日出游而言: {机票到达时间-酒店位置-旅游景点} 这些对话领域往往互相牵涉, 本论文提出的方法为从知识蒸馏的角度为多领域对话系统提供了一种解决方案。
2. 解决多领域对话系统状态空间急剧上升的问题，上线模型的参数数量大大降低。

作者介绍

珂蓝;重修;零点;元淳;海青;Yin Zhang