3.4. SPACE-2 结果
SPACE-2 在面向对话理解的榜单 DialoGLUE 上（意图识别、填槽、对话跟踪）全量测试和小样本测试总分均为第一，其中在全量测试上，SPACE-2 相比之前的 SOTA 提升 1.1%，在小样本测试上，SPACE-2 相比之前的 SOTA 提升 3.41，由此可以证明开放集知识对于对话理解的增益。
图 20 SPACE-2 注入了对话理解知识，在对话理解榜单 DialoGLUE 取得 full-data 和 few-shot 双榜单第一名
4. SPACE-3: 从单模块建模到一体化建模
面向单模块的预训练模型存在几个问题：
- 首先，模型的泛化性有限，无法很好的泛化到其他对话任务中，比如面向对话理解的模型很难再对话策略上有很好的效果；
- 对话任务具有流程型和时序性，理解 -> 策略 -> 生成是有先后顺序及相辅相成的，同时建模多个任务将能更充分的挖掘数据特征；
- 不同任务的标签知识如果能够同时以半监督的方式注入到预训练模型中 ，标注信息的增多，对于模型的优化也更有帮助。
为了克服这些问题，所以我们提出了 SPACE-3，希望将对话理解、对话策略、对话生成都统一到一个预训练对话模型中。
4.1. 一体化模型
我们换个角度来看人机对话，首先多轮对话是流动的，是对话双方不停地进行交互，但之前的预训练对话模型都是从单侧（用户侧 or 系统侧）进行建模，没有考虑他们之间相互的影响。另外，语义树是对用户侧的语言（utterance）进行理解的，DA 是对系统侧的语言（response）进行理解的，那么就可以将理解知识和策略知识进行双侧理解统一建模。
图 21 换个角度看人机对话
基于这个思路，我们希望能够模拟人类对话的思考路径，通过三个 Decoder 依次做理解、策略和生成，中间的结果可以用在各类对话下游任务上。在模型技术选型上，我们采取 UniLM 作为 backbone，将 1 Encoder + 1 Decoder 扩展为 1 Encoder + 3 Decoder 的结构，其中 Dialog Encoder 作为基础编码器通过 MLM loss 完成基础语言理解，而三个 Decoder 各司其职，Understanding Decoder 通过半监督对比学习进行对话理解，Policy Deocder 通过语义策略正则 loss 进行对话策略建模，最后 Response Decoder 通过传统的生成 loss 进行对话生成。
图 22 SPACE-3 模型架构
4.2. 双侧理解建模
策略 loss 的设计体现了我们对双侧理解的思想，首先在用户侧时刻，根据上下文和用户 utterance，经过 Policy Decoder 的预测的结果，和直接利用 Understanding Decoder 对下一轮 response 理解的结果，二者具有一致性。比如在下面的例子中，当模型接受 U1 + R1 + U2 为 context 的输入时 Policy Decoder 模块的结果，需要与 U1 + R1 + U2 + R2 为 context 的输入时 Understanding Decoder 模块的结果进行一致性约束，来引导模型对策略进行建模。
图 23 策略 LOSS 建模示例
同样的，在用户侧时刻，根据上下文和系统 response，经过 Policy Decoder 的预测的结果，和直接利用 Understanding Decoder 对用户 utterance 理解的结果，二者具有一致性。当模型接受 U1 + R1 + U2 + R2 为 context 的输入时 Policy Decoder 模块的结果，需要与 U1 + R1 + U2 + R2 + U3 为 context 的输入时 Understanding Decoder 模块的结果进行一致性约束，来引导模型对策略进行建模。
图 24 策略 LOSS 建模示例
4.3. SPACE-3 结果
最后，我们同时在对话理解任务、对话策略任务和对话生成任务上同时评测了 SPACE-3 的效果，在包含理解、策略和生成的 8 个数据集的综合评价上，取得当前最好效果。
图 25 SPACE-3 模型结果
5. SPACE-1/2/3 系列模型总结
这一年多来，我们通过提出半监督预训练新范式，向预训练对话模型中注入人类标注知识，打造了 SPACE 系列模型，共在 11 个国际对话数据集取得 SOTA，并且三个工作分别侧重对话策略、对话理解及统一建模。相关的论文已经被顶级会议接收。其中，SPACE-1 融合对话策略知识，被 AAAI 2020 录用；SPACE-2 融合对话理解知识，被 COLING 2022 录用；SPACE-3 集理解、策略、生成一体，被 SIGIR 2022 录用。
图 26 SPACE 1/2/3 系列模型
6. 未来展望
拓展更多任务：半监督预训练作为一个通用的预训练技术， 不仅可以用于对话任务，对于更多的 NLP 任务, 甚至其他模态的任务都有应用的潜力；
融入更多知识：本文中我们对分类标注知识和树形语义知识做了探索，除此之外还有很多其他知识形态，如何进行更好的形式化表示，统一地融入到一个预训练模型中也是一个开放问题；
设计更好算法：目前的探索是基于一致性正则化的半监督预训练方案，但整个半监督领域还有 self-taught, co-training, deep generative modeling 等诸多方法，如何综合利用或设计更优的算法是一个重要研究课题；
放松数据约束：半监督学习要求标注数据和无标数据具有类似的数据分布，这一要求在真实场景中具有局限性，如何设计泛化性更强的半监督学习方法，放松对于无标数据分布的假设，是未来的一个发展方向。
特别鸣谢
灵骏为本项目提供智能算力支持，显著性加速了 SPACE 大规模预训练过程。灵骏是阿里云自主研发的新一代智能计算服务，以软硬件一体的系统性创新优化，使端到端计算效率得到飞跃式升级。支持自然语言处理、图形图像识别、搜索广告推荐等多种应用场景，具备高性能、高效率、高资源利用率等核心优势，可为大模型等前沿 AI 技术提供高拓展可预期的计算服务。
参考文献
[1] Devlin J, Chang M W, Lee K, et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019.[2] Brown T, Mann B, Ryder N, et al. Language Models are Few-Shot Learners. NeurIPS 2020.[3] Raffel et al. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR 2020.[4] Vaswani A, Shazeer N, Parmar N, et al. Attention Is All You Need. NeurIPS 2017.[5] Henderson M, Casanueva I, Mrkšić N, et al. Convert: Efficient and accurate conversational representations from transformers. EMNLP-findings 2019.[6] Wu C S, Hoi S, Socher R, et al. TOD-BERT: pre-trained natural language understanding for task-oriented dialogue. EMNLP 2020.[7] Zihang Jiang, Weihao Yu, Daquan Zhou, et al. ConvBERT: Improving BERT with Span-based Dynamic Convolution. NeurIPS 2020.[8] Zhang Y, Sun S, Galley M, et al. DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. ACL system demonstration 2020.[9] Adiwardana D, Luong M T, So D R, et al. Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977, 2020.[10] Roller S, Dinan E, Goyal N, et al. Recipes for building an open-domain chatbot. arXiv preprint arXiv:2004.13637, 2020.[11] Xiaojin Jerry Zhu. Semi-supervised learning literature survey. 2005.[12] Liang X, Wu L, Li J, et al. R-Drop: Regularized Dropout for Neural Networks. NeurIPS 2021.[13] He W, Dai Y, Zheng Y, et al. SPACE: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection. AAAI 2022.[14] He W, Dai Y, Hui B, et al. SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding. COLING 2022.[15] He W, Dai Y, Yang M, SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog Understanding and Generation. SIGIR 2022.[16] Xu H, Zhengyan Z, Ning D, et al. Pre-Trained Models: Past, Present and Future [J]. arXiv preprint arXiv:2106.07139, 2021.
