中山大学HCP Lab团队:AI解题新突破,神经网络推开数学推理大门(三)

简介: 中山大学HCP Lab团队:AI解题新突破,神经网络推开数学推理大门

论文 7:Template-based Contrastive Distillation Pre-training for Math Word Problem Solving

Jinghui Qin*, Zhicheng Yang*, Jiaqi Chen, Xiaodan Liang and Liang Lin


虽然深度学习模型在数学解题领域取得很好的进展,但是这些模型忽视了蕴涵在问题描述中的求解逻辑,而这种解题逻辑往往可以和解题模板(解法)相对应。如图 13 所示,两个不同的应用题均可以对应相同的解法。


图 13 语言描述不同但解法相同的应用题示例


此外,预训练语言模型 (PLM) 包含丰富的知识和拥有高质量语义表示的能力,这对于 MWP 问题的求解会有帮助。


为了充分利用预训练语言模型所包含的丰富知识以及利用求解逻辑来更高效地求解应用题,中山大学人机物智能融合实验室团队提出基于解法模板和预训练语言模型的对比蒸馏预训练方法对求解器中的问题编码器进行领域预训练,如图 14 所示。该方法使用多视角对比学习有效地考虑数学逻辑知识的同时利用知识蒸馏的方式有效地保留了预训练语言模型中的知识和高质量语义表示能力。


具体来说, 我们首先以两道题目之间的解法模板是否一致来作为判定两道题目是否应该在表示空间上互相靠近的标识。然后,我们提出多视角对比学习,从教师编码器以及学生编码器及其对应的 Momentum 编码器进行对比学习,使得两道具有相同解法模板的题目表示在教师表示空间中和学生表示空间中进行互相靠近,从而实现解法逻辑的注入。此外,为了尽可能地保留以预训练语言模型进行初始化的学生编码器中所蕴涵的知识和高质量表示能力,我们使用知识蒸馏,利用教师编码器的特征表示作为监督,约束学生编码器的表示要与已训练好的教师编码器具有相同的表示能力,从而实现语义保持。


图 14 基于解法模板和预训练语言模型的对比蒸馏预训练方法


在实验中,我们使用不同的预训练语言模型作为初始化并验证我们方法的效果。我们分别使用 BERT-base 和 Roberta-base 权重对问题编码器 MathEncoder 进行初始化,并使用 GTS 中的 decoder 作为表达式解码器。我们统称基于 MathEncoder 的求解器为 MathSolver。我们将 MathSolver 与多个方法在 Math23K 和 CM17K 上进行了对比。实验结果如下表所示。


从实验结果可以看到,我们所提出的方法能有效地提升求解器的解题能力,并能在多种不同的预训练语言模型上进行应用。该成果已投稿到 IEEE Transactions on Neural Networks and Learning Systems,更多细节敬请期待。


论文 8:An Introspective Data Augmentation Method for Training Math Word Problem Solvers

Jinghui Qin, Zhongzhan Huang, Ying Zeng, and Liang Lin


近年来,越来越多的研究者开始研究基于深度学习的方法进行数学应用题自动求解,因为数学应用题自动求解能充分展示机器智能的程度。因为标注高质量大规模的 MWP 数据集的代价很高,比如需要相应教育程度的专业知识和大规模可访问的题目数据,所以现有的高质量 MWP 数据集的规模对于训练一个高效的 MWP 解题器是远远不够的。


MWP 的数据瓶颈问题鼓舞我们思考如何使用成本高效的数据增强方法来改进数据利用效率,提升求解器的性能。最直接的数据增强方法就是基于输入的数据增强方法,如常用的字符替换,字符删除等,但是这类方法对于 MWP 来说是不适用的,因为 MWP 具有言简意赅的特点,对输入的文本的扰动或修改容易使得题意模糊。此外,题意所蕴含的数学关系是不能被改变的,但这类方法很可能会改变题意所蕴含的数学关系,如图 15 所示。


图 15  基于输入的数据增强方法不适用于 MWP 任务的示例


此外,中山大学人机物智能融合实验室团队还对基于输入的数据增强方法进行了一定的验证,其实验结果如图 16 所示。实验结果表明了基于输入的显式数据增强方法对于 MWP 任务来说是不适用的,无法有效地缓解 MWP 任务所遇到的数据瓶颈问题。


图 16 基于输入的数据增强方法无法提升 MWP 解题效果


为此,我们提出了一种适用于 MWP 数据的简单高效的数据增强方法 - 自省式数据增强方法(IDAM),在训练过程种对题目在隐空间的表示进行增强,从而解决了基于输入的数据增强方法在 MWP 求解任务上所遇到的问题。IDAM 方法通过对问题的表示编码执行不同的表示构建方法(均值池化、层次化聚合,随机丢弃,随机交换等),得到一个新的问题表示,然后使用一致性目标函数(基于表达式之间的 JS 散度)来约束求解器基于新问题表示的表达式解码输出要和基于原问题表示的表达式解码输出具有一致性。该方法的示意图如图 17 所示。


图 17 自省式数据增强方法(IDAM)示意图


在实验中,我们将 IDAM 嵌入到多个 SOTA 方法里并在多个数据集上进行了对比,验证了我们 IDAM 方法的有效性和通用性。实验结果如下表所示。从实验结果可以看到,在相同的实验配置下,我们的 IDAM 在不同的 MWP 数据集上均能对不同的求解器基线模型的性能进行提升。这充分说明了我们 IDAM 方法在 MWP 问题上的有效性。


该成果已投稿到 IEEE/ACM Transactions on Audio, Speech and Language Processing,更多细节敬请期待。

实验室简介

中山大学人机物智能融合实验室(HCP Lab)由林倞教授于2010年创办,围绕人工智能前沿技术布局研究课题,获得中国图像图形学会科技一等奖、吴文俊自然科学奖、省级自然科学一等奖等荣誉;培养了梁小丹、王可泽等国家级青年人才。


参考文献

[1] Qin J, Lin L, Liang X, et al. Semantically-Aligned Universal Tree-Structured Solver for Math Word Problems[C]//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2020: 3780-3789.[2] Qin J, Liang X, Hong Y, et al. Neural-Symbolic Solver for Math Word Problems with Auxiliary Tasks[C]//Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). 2021: 5870-5881.[3] Chen J, Tang J, Qin J, et al. GeoQA: A Geometric Question Answering Benchmark Towards Multimodal Numerical Reasoning[C]//Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021. 2021: 513-523.[4] Yang Z, Qin J, Chen J, et al. Unbiased Math Word Problems Benchmark for Mitigating Solving Bias[J]. arXiv preprint arXiv:2205.08108, 2022.[5] Yang Z, Qin J, Chen J, et al. LogicSolver: Towards Interpretable Math Word Problem Solving with Logical Prompt-enhanced Learning[J]. arXiv preprint arXiv:2205.08232, 2022.

相关文章
|
8天前
|
人工智能 安全 搜索推荐
北大计算机学院再登国际AI顶刊!张铭教授团队揭露医疗AI致命漏洞
【10月更文挑战第17天】北京大学计算机学院张铭教授团队在国际顶级人工智能期刊上发表重要成果,揭示了医疗AI系统中的致命漏洞——“模型反演”。该漏洞可能导致误诊和医疗事故,引起学术界和工业界的广泛关注。研究强调了医疗AI系统安全性评估的重要性。
22 1
|
2月前
|
机器学习/深度学习 人工智能 UED
OpenAI o1模型:AI通用复杂推理的新篇章
OpenAI发布了其最新的AI模型——o1,这款模型以其独特的复杂推理能力和全新的训练方式,引起了业界的广泛关注。今天,我们就来深入剖析o1模型的特点、背后的原理,以及一些有趣的八卦信息。
305 73
|
4天前
|
人工智能 运维 Serverless
Serverless GPU:助力 AI 推理加速
近年来,AI 技术发展迅猛,企业纷纷寻求将 AI 能力转化为商业价值,然而,在部署 AI 模型推理服务时,却遭遇成本高昂、弹性不足及运维复杂等挑战。本文将探讨云原生 Serverless GPU 如何从根本上解决这些问题,以实现 AI 技术的高效落地。
|
10天前
|
人工智能 安全 搜索推荐
北大计算机学院再登国际AI顶刊!张铭教授团队揭露医疗AI致命漏洞
【10月更文挑战第16天】北京大学张铭教授团队在国际顶级人工智能期刊上发表重要成果,揭示了医疗AI系统中的致命漏洞——“模型反演”。该漏洞可使攻击者通过特定数据样本误导AI诊断,引发误诊风险。此发现引起广泛关注,强调了医疗AI安全评估的重要性。
27 4
|
12天前
|
人工智能 NoSQL 机器人
MongoDB Atlas与YoMio.AI近乎完美适配:推理更快速、查询更灵活、场景更丰富
随着MongoDB的新发布和革新,YoMio.AI的“闪电式发展”值得期待。
|
2月前
RTX3090可跑,360AI团队开源最新视频模型FancyVideo
【9月更文挑战第23天】近年来,人工智能技术的迅猛发展推动了视频生成领域的进步,但在合成动态、连贯且时长较长的视频方面仍面临挑战。为此,360AI团队提出了FancyVideo模型,通过跨帧文本指导实现更为连贯的视频生成。FancyVideo引入了跨帧文本指导模块(CTGM),包含时间信息注入器(TII)、时间相关性优化器(TAR)和时间特征增强器(TFB)三个组件,分别负责注入帧特定信息、优化相关性和增强时间一致性。这些机制使模型能生成具有连贯动作和丰富运动的视频,适用于动画制作和视频编辑等领域。然而,FancyVideo也存在计算复杂度高和细节真实感提升空间等局限。
46 3
|
2月前
|
机器学习/深度学习 人工智能 TensorFlow
神经网络深度剖析:Python带你潜入AI大脑,揭秘智能背后的秘密神经元
【9月更文挑战第12天】在当今科技飞速发展的时代,人工智能(AI)已深入我们的生活,从智能助手到自动驾驶,从医疗诊断到金融分析,其力量无处不在。这一切的核心是神经网络。本文将带领您搭乘Python的航船,深入AI的大脑,揭秘智能背后的秘密神经元。通过构建神经网络模型,我们可以模拟并学习复杂的数据模式。以下是一个使用Python和TensorFlow搭建的基本神经网络示例,用于解决简单的分类问题。
46 10
|
2月前
|
机器学习/深度学习 监控 并行计算
深度学习之生物网络推理
基于深度学习的生物网络推理利用深度学习技术来解析和理解生物网络(如基因调控网络、代谢网络、蛋白质-蛋白质相互作用网络等)的复杂关系和动态行为。
45 5
|
2月前
|
机器学习/深度学习 人工智能 TensorFlow
深入骨髓的解析:Python中神经网络如何学会‘思考’,解锁AI新纪元
【9月更文挑战第11天】随着科技的发展,人工智能(AI)成为推动社会进步的关键力量,而神经网络作为AI的核心,正以其强大的学习和模式识别能力开启AI新纪元。本文将探讨Python中神经网络的工作原理,并通过示例代码展示其“思考”过程。神经网络模仿生物神经系统,通过加权连接传递信息并优化输出。Python凭借其丰富的科学计算库如TensorFlow和PyTorch,成为神经网络研究的首选语言。
45 1
|
2月前
|
人工智能 自然语言处理 自动驾驶
【通义】AI视界|马斯克亲自辟谣:xAI不可能在特斯拉的推理计算机上运行
本文精选了24小时内的重要科技新闻,包括马斯克辟谣xAI不会运行在特斯拉计算机上、谷歌发布AlphaProteo AI模型、百度贴吧“弱智吧”成为AI训练佳选、荣耀推出跨应用智能体以及苹果即将在iOS 18.2中加入图像生成功能。更多内容请访问通义官网体验。