论文 7：Template-based Contrastive Distillation Pre-training for Math Word Problem Solving
Jinghui Qin*, Zhicheng Yang*, Jiaqi Chen, Xiaodan Liang and Liang Lin
虽然深度学习模型在数学解题领域取得很好的进展，但是这些模型忽视了蕴涵在问题描述中的求解逻辑，而这种解题逻辑往往可以和解题模板（解法）相对应。如图 13 所示，两个不同的应用题均可以对应相同的解法。
图 13 语言描述不同但解法相同的应用题示例
此外，预训练语言模型 (PLM) 包含丰富的知识和拥有高质量语义表示的能力，这对于 MWP 问题的求解会有帮助。
为了充分利用预训练语言模型所包含的丰富知识以及利用求解逻辑来更高效地求解应用题，中山大学人机物智能融合实验室团队提出基于解法模板和预训练语言模型的对比蒸馏预训练方法对求解器中的问题编码器进行领域预训练，如图 14 所示。该方法使用多视角对比学习有效地考虑数学逻辑知识的同时利用知识蒸馏的方式有效地保留了预训练语言模型中的知识和高质量语义表示能力。
具体来说， 我们首先以两道题目之间的解法模板是否一致来作为判定两道题目是否应该在表示空间上互相靠近的标识。然后，我们提出多视角对比学习，从教师编码器以及学生编码器及其对应的 Momentum 编码器进行对比学习，使得两道具有相同解法模板的题目表示在教师表示空间中和学生表示空间中进行互相靠近，从而实现解法逻辑的注入。此外，为了尽可能地保留以预训练语言模型进行初始化的学生编码器中所蕴涵的知识和高质量表示能力，我们使用知识蒸馏，利用教师编码器的特征表示作为监督，约束学生编码器的表示要与已训练好的教师编码器具有相同的表示能力，从而实现语义保持。
图 14 基于解法模板和预训练语言模型的对比蒸馏预训练方法
在实验中，我们使用不同的预训练语言模型作为初始化并验证我们方法的效果。我们分别使用 BERT-base 和 Roberta-base 权重对问题编码器 MathEncoder 进行初始化，并使用 GTS 中的 decoder 作为表达式解码器。我们统称基于 MathEncoder 的求解器为 MathSolver。我们将 MathSolver 与多个方法在 Math23K 和 CM17K 上进行了对比。实验结果如下表所示。
从实验结果可以看到，我们所提出的方法能有效地提升求解器的解题能力，并能在多种不同的预训练语言模型上进行应用。该成果已投稿到 IEEE Transactions on Neural Networks and Learning Systems，更多细节敬请期待。
论文 8：An Introspective Data Augmentation Method for Training Math Word Problem Solvers
Jinghui Qin, Zhongzhan Huang, Ying Zeng, and Liang Lin
近年来，越来越多的研究者开始研究基于深度学习的方法进行数学应用题自动求解，因为数学应用题自动求解能充分展示机器智能的程度。因为标注高质量大规模的 MWP 数据集的代价很高，比如需要相应教育程度的专业知识和大规模可访问的题目数据，所以现有的高质量 MWP 数据集的规模对于训练一个高效的 MWP 解题器是远远不够的。
MWP 的数据瓶颈问题鼓舞我们思考如何使用成本高效的数据增强方法来改进数据利用效率，提升求解器的性能。最直接的数据增强方法就是基于输入的数据增强方法，如常用的字符替换，字符删除等，但是这类方法对于 MWP 来说是不适用的，因为 MWP 具有言简意赅的特点，对输入的文本的扰动或修改容易使得题意模糊。此外，题意所蕴含的数学关系是不能被改变的，但这类方法很可能会改变题意所蕴含的数学关系，如图 15 所示。
图 15 基于输入的数据增强方法不适用于 MWP 任务的示例
此外，中山大学人机物智能融合实验室团队还对基于输入的数据增强方法进行了一定的验证，其实验结果如图 16 所示。实验结果表明了基于输入的显式数据增强方法对于 MWP 任务来说是不适用的，无法有效地缓解 MWP 任务所遇到的数据瓶颈问题。
图 16 基于输入的数据增强方法无法提升 MWP 解题效果
为此，我们提出了一种适用于 MWP 数据的简单高效的数据增强方法 - 自省式数据增强方法（IDAM），在训练过程种对题目在隐空间的表示进行增强，从而解决了基于输入的数据增强方法在 MWP 求解任务上所遇到的问题。IDAM 方法通过对问题的表示编码执行不同的表示构建方法（均值池化、层次化聚合，随机丢弃，随机交换等），得到一个新的问题表示，然后使用一致性目标函数（基于表达式之间的 JS 散度）来约束求解器基于新问题表示的表达式解码输出要和基于原问题表示的表达式解码输出具有一致性。该方法的示意图如图 17 所示。
图 17 自省式数据增强方法（IDAM）示意图
在实验中，我们将 IDAM 嵌入到多个 SOTA 方法里并在多个数据集上进行了对比，验证了我们 IDAM 方法的有效性和通用性。实验结果如下表所示。从实验结果可以看到，在相同的实验配置下，我们的 IDAM 在不同的 MWP 数据集上均能对不同的求解器基线模型的性能进行提升。这充分说明了我们 IDAM 方法在 MWP 问题上的有效性。
该成果已投稿到 IEEE/ACM Transactions on Audio, Speech and Language Processing，更多细节敬请期待。
实验室简介
中山大学人机物智能融合实验室(HCP Lab)由林倞教授于2010年创办，围绕人工智能前沿技术布局研究课题，获得中国图像图形学会科技一等奖、吴文俊自然科学奖、省级自然科学一等奖等荣誉；培养了梁小丹、王可泽等国家级青年人才。
参考文献
[1] Qin J, Lin L, Liang X, et al. Semantically-Aligned Universal Tree-Structured Solver for Math Word Problems[C]//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2020: 3780-3789.[2] Qin J, Liang X, Hong Y, et al. Neural-Symbolic Solver for Math Word Problems with Auxiliary Tasks[C]//Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). 2021: 5870-5881.[3] Chen J, Tang J, Qin J, et al. GeoQA: A Geometric Question Answering Benchmark Towards Multimodal Numerical Reasoning[C]//Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021. 2021: 513-523.[4] Yang Z, Qin J, Chen J, et al. Unbiased Math Word Problems Benchmark for Mitigating Solving Bias[J]. arXiv preprint arXiv:2205.08108, 2022.[5] Yang Z, Qin J, Chen J, et al. LogicSolver: Towards Interpretable Math Word Problem Solving with Logical Prompt-enhanced Learning[J]. arXiv preprint arXiv:2205.08232, 2022.
