替代图灵测试?让人工智能参加数学和科学考试-阿里云开发者社区

开发者社区> 开发者小助手-bz8> 正文

替代图灵测试?让人工智能参加数学和科学考试

简介: 图灵测试在过去很长一段时间里都被认为是一种衡量人工智能的好方法,但随着人工智能技术的发展,我们发现这种方法也有一些缺陷或不足的地方。今年五月,印度理工学院的 Arindam Bhattacharya 发表了一篇题为《A Survey of Question Answering for Math and Science Problem》的论文,介绍了研究者在制造能通过标准化考试(standardized test)的机器上所取得的进展。机器之心技术分析师 Shixin Gu 对这篇论文进行了分析解读。
+关注继续查看

论文原文请访问:https://arxiv.org/abs/1705.04530


这篇论文提供了一个思考人工智能的新视角。在衡量人工智能上,图灵测试(Turing test)已经被证明是一种不足实用的方法。所以现在标准化的数学和科学考试(standardized math and science tests)已经被视为了一种可用于衡量人工智能的方法。该论文的目的是概述能通过标准化数学和科学考试的机器的制作方法。


1. 引言


该论文的作者首先指出,对于人类,我们可以通过我们给出的相关问题的答案来进行评价。但我们不能使用同样的标准来评价机器。由阿兰·图灵在 1950 年提出的图灵测试 [1] 的评价方式是看机器能否表现出与人类无法区分的对话行为。而在今天,Clark 和 Etzioni [2] 提出可使用数学和科学的标准化考试作为评价机器智能的适当方法。这篇论文给出了一个简要介绍,让我们可以了解可如何训练机器来解决数学和科学问题。


2. 问答和数学/科学领域


问答(QA)是一种需要机器为问题生成答案的任务,其中问题和答案都是自然语言。现代问答系统主要基于两种范式。


一种是基于文本的问答(text-based QA),其依赖于大量文本。首先,它会通过信息检索方法来检索包含了答案的文档,然后其会从文本中提取出候选答案并对这些答案进行排名。


另一种是基于知识的问答(knowledge based QA),这种方法会创建问题的语义表征(semantic representation),然后将其用于查询事实数据库(databases of facts)。


在科学和数学问题上的问答还面临着额外的独特难题,因为解决这些问题既需要对问题有很好的理解,还需要将问题的内在表征包含进来。此外,它往往需要执行符号计算 [2]。通过信息检索或基于知识的方法,这个问题无法得到轻松的解决。


3. 用于科学的问答


标准化考试中的科学问题主要包含三类:基本事实检索、推理和世界知识、图表。这个问答任务所用的数据集是 New York Regents Science Exams (NYSED) [3]。


3.1 数据集


该论文提供了一些测试和答案的示例。


  • 基本问题


1. 下面哪种物体是最优良的电导体?


(A)蜡笔(B)塑料勺子(C)橡皮擦(D)铁钉


2. 风或水所导致的土壤运动被称为:


(A)冷凝(B)蒸发(C)侵蚀(D)摩擦


这些问题可以通过基于信息检索的问答系统解决。


  • 简单推理


1. 下面哪个例子描述了生物在获取养分?


A)一只狗在掩埋骨头(B)一个女孩在吃苹果(C)一只昆虫在树叶上爬行(D)一个男孩在花园里种植番茄


通过基于已知事实的简单推理可以得到这个问题的答案。机器应当知道「吃」涉及到「获取养分」,而苹果包含养分。


  • 更复杂的世界知识


1. 一个骑自行车的学生观察到在平滑的道路上比在不平整的道路上骑得快,这是因为平滑的道路有


(A)更小的重力(B)更大的重力(C)更小的摩擦力(D)更大的摩擦力


对于这个问题,机器应该具备更深度的知识和更好的语言能力。比如,「骑自行车」意味着在移动,然后按路径推理。


  • 图表


1. 图 1 中哪个字母指示的植物结构可以吸收水和养分?

微信图片_20211129093617.jpg

3.2 模型


人们采用了多种方法来解决这个问题。这篇论文展示了两种方法。


参考文献 [4] 提出了一种使用整数线性规划(ILP/ Integer Linear Programming)的方法。其中,问答问题基于半结构化的知识(structured knowledge)而被形式化所需的支持图(Support Graph),这最终会变成 ILP。这个系统如图 2 所示。

微信图片_20211129093633.jpg

图 2:TableILP 会搜索将问题和答案连接起来的最佳的支持图(推理链)。这个例子的问题是:纽约州的哪个月白天持续时间最长?答案是:六月。


参考文献 [5] 使用了一个解算器集合(ensemble of solvers)来在不同的层解决问题。这些层如图 3 所示,该系统包含了信息检索解算器、点互信息解算器(Pointwise Mutual Information solver)、支持向量机解算器、RULE 解算器(其中包含人工编码的规则)和整数线性规划。这个系统被称为 ARISTO,并且实现了当前最佳。

微信图片_20211129093658.jpg

图 3:Aristo 使用了五个解算器来回答多选问题,其中每一个都使用了不同类型的知识


4. 用于数学的问答


信息检索系统不能解决数学问题。为了解决数学问题(尤其是算术问题),系统需要理解该问题,并且构造一个等式来进行计算。几何问题由于依赖图表而有所困难。


4.1 数据集


与 3.1 部分类似,本论文提供了标准化考试中的样本并给出了相应的解答。其中几何使用了来自 SAT 的问题,其它问题则来自 NYSED。


  • 代数问题


1.Molly 拥有 Wafting Pie 公司。今天早上,她的员工使用了 816 个鸡蛋来烤南瓜饼。如果她的员工今天总共使用了 1339 个鸡蛋,那么他们下午使用了多少个鸡蛋?


2.Sara 的高中今年赢了 5 场篮球赛,输了 3 场。他们今年总共比赛了几场?


3.John 有 8 个橙色气球,但是丢掉了 2 个。John 现在有多少个橙色气球?


语言处理是必需的,而且后两者还需要世界建模(world modeling)。


  • 几何问题


在图 4 中,机器应该理解算术和图表推理(diagrammatic reasoning)。

微信图片_20211129093712.jpg

图 4:如图所示,AB 与圆 O 相交于 D,AC 与圆 O 相交于 E,AE=4,AC=24,AB=16。求 AD。


4.2 模型


论文中给出了四种方法。一是简单的动词分类(verb categorization),旨在解决代数词问题。该模型如图 6 所示,我们可以看到该模型会提取出问题中的动词,然后基于动词类别来构建等式。

微信图片_20211129093732.jpg

图 6:动词分类


另一个系统被称为 ALGES,使用了整数线性规划(ILP)来将词问题映射到一个等式树中,而且更加复杂。如图 5 所示。

微信图片_20211129093748.jpg

图 5:用于词问题及其 Qsets 的学习过程的概览


第三个模型则试图解决几何图表问题。它是在参考文献 [6] 中提出的。它使用了三个步骤来将文本和几何图表对齐:


1)选取最大化像素覆盖(pixel coverage)的元素并识别图中的图元(primitive);

2)使用图元和文本元素之间的协议;

3)最大化元素的一致性(coherence)。


在图 7 中,对齐(alignment)是由系统实现的。

微信图片_20211129093806.jpg

图 7:图表理解:识别图中的视觉元素,并将它们与提及的文本对齐。视觉元素和它们对应的文本提及按不同颜色编码。这幅图加了颜色最好看。


最后一个模型被用于解决几何图表问题,其是在参考文献 [7] 中提出的。其遵循两个步骤:1)使用了第三个模型和语言处理来将图表和问题转换成逻辑表达式;2)使用了可满足性解算器(satisfiability solver)来推导答案。这些步骤可见图 8.

微信图片_20211129093823.jpg

5. 结论


当前最佳的方法还不能很好地解决标准化考试。未来将会有更多方法完成标准化的数学和科学问题。即使机器通过了这些测试,我们仍然不能说它是智能的(intelligent)。但是人工智能通过数学和科学标准化考试将会成为人工智能历史上的一个里程碑事件。 微信图片_20211129092521.png


6. 参考文献


[1] Turing, Alan M.「Computing machinery and intelligence.」Mind 59.236 (1950): 433-460.

[2] Clark, Peter, and Oren Etzioni.「My Computer Is an Honor Student-but How Intelligent Is It? Standardized Tests as a Measure of AI.」AI Magazine 37.1 (2016): 5-12.

[3] NYSED. 2014. New York Regents Science Exams. http://www.nysedregents.org/.

[4] Koncel-Kedziorski, Rik, et al.「Parsing Algebraic Word Problems into Equations.」TACL 3 (2015): 585-597.

[5] Schoenick, Carissa, et al.「Moving Beyond the Turing Test with the Allen AI Science Challenge.」arXiv preprint arXiv:1604.04315 (2016).

[6] Seo, Min Joon, et al.「Diagram Understanding in Geometry Questions.」AAAI. 2014.

[7] Seo, Min Joon, et al.「Solving Geometry Problems: Combining Text and Diagram Interpretation.」EMNLP. 2015.





版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
编码 5 分钟,命名 2 小时?Java 开发都需要参考的一份命名规范!
简洁清爽的代码风格应该是大多数工程师所期待的。在工作中笔者常常因为起名字而纠结,命名已经成为我工作中的拦路虎,夸张点可以说是编程5分钟,命名两小时!
14 0
ECS使用体验
在阿里云领取了一个服务器,分享一下使用体验
12 0
面试官问:ZooKeeper是强一致的吗?怎么实现的?
Zookeeper通过ZAB保证分布式事务的最终一致性。 ZAB全称Zookeeper Atomic Broadcast(ZAB,Zookeeper原子消息广播协议)
9 0
从零实现一个日志框架(带源码)
Java里的各种日志框架,相信大家都不陌生。Log4j/Log4j2/Logback/jboss logging等等,其实这些日志框架核心结构没什么区别,只是细节实现上和其性能上有所不同。本文带你从零开始,一步一步的设计一个日志框架
17 0
ECS使用有感
我是一名即将步入社会的大学生,随着网络法等相关专业知识的学习愈发强烈。查询资料时,常常会浏览到制作精美的个人站,因此产生了建设自己个人站的设想,但是由于业余时间少之甚少,同时听闻购买域名与服务器的价格不菲,因此计划一直未能实现
7 0
ECS使用有感
我是一名即将步入社会的大学生,随着网络法等相关专业知识的学习愈发强烈。查询资料时,常常会浏览到制作精美的个人站,因此产生了建设自己个人站的设想,但是由于业余时间少之甚少,同时听闻购买域名与服务器的价格不菲,因此计划一直未能实现
9 0
阿里云自然语言处理--文本纠错(中文)Java 调用示例
自然语言处理(Natural Language Processing,简称NLP),是为各类企业及开发者提供的用于文本分析及挖掘的核心工具,旨在帮助用户高效的处理文本,已经广泛应用在电商、文娱、司法、公安、金融、医疗、电力等行业客户的多项业务中,取得了良好的效果。文本纠错产品是基于海量大数据研发,为有文本纠错需求的产品提供服务。能够准确识别输入文本中出现的拼写错别字及其段落位置信息,并针对性给出正确的建议文本内容。本文将使用Java CommonSDK演示文本纠错(中文)服务的快速调用以供参考。
7 0
【高并发】为何高并发系统中都要使用消息队列?这次彻底懂了!
很多高并发系统中都会使用到消息队列中间件,那么,问题来了,为什么在高并发系统中都会使用到消息队列中间件呢?立志成为资深架构师的你思考过这个问题吗?
13 0
使用有感
我是一名即将步入社会的大学生,随着网络法等相关专业知识的学习愈发强烈。查询资料时,常常会浏览到制作精美的个人站,因此产生了建设自己个人站的设想,但是由于业余时间少之甚少,同时听闻购买域名与服务器的价格不菲,因此计划一直未能实现
6 0
1777
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载