Richard Sutton:人工智能的未来属于搜索和学习-阿里云开发者社区

开发者社区> 开发者小助手-bz8> 正文

Richard Sutton:人工智能的未来属于搜索和学习

简介: Richard Sutton 在多伦多大学数学科学研究中心的机器学习应用进展系列研讨会上探讨了人工智能的未来方向。他认为人工智能的未来属于可扩展的方法、搜索与学习。而在人工智能未来的发展中,可扩展性是及其重要的方向。监督学习和计算能力的可扩展性并不大,真正重要的是在普通的经验知识世界中学习的能力,这个能力需要扩展。
+关注继续查看

Richard Sutton 在多伦多大学数学科学研究中心的机器学习应用进展系列研讨会上探讨了人工智能的未来方向。他认为人工智能的未来属于可扩展的方法、搜索与学习。而在人工智能未来的发展中,可扩展性是及其重要的方向。监督学习和计算能力的可扩展性并不大,真正重要的是在普通的经验知识世界中学习的能力,这个能力需要扩展。

E6BD6736-A725-4C50-9657-043C59A111ED.jpeg


点击查看原视频


摘要


当人类最终开始理解智能的原理并将这些原理赋予机器的时候,这会是我们这个时代,或者可以说是任何时代,最重要的发现。最近几年,随着深度学习及其相关领域的进步,这一巨大的进步几乎触手可及。它给人类所带来的后果、利益和危险已成为新闻界、各种公共政策会议以及科学会议上的热门话题,这是一种夸张和恐惧,还是隐藏在激动人心之下的真正科学进步?在这次讨论中,我将基于我 38 年的人工智能研究经验,给大家讲一些有用的但毫无疑问又带有偏颇的观点。我所讲的内容包括两个方面:1)将目前的发展视为人工智能最长久趋势的一部分——更廉价的计算,以及由此而来的将会扮演更重要角色的搜索、学习以及所有可扩展的事情,2)基于预测以及强化学习,勾勒出一条可能的人工智能之路。


介绍


在不远的将来,人工智能的可扩展性将会是极其重要的。鉴于摩尔定律奠定了我们目前计算能力发展的基础,根据该定律我们的计算资源每两年将翻一番。优秀的算法必须能够随着硬件的发展而扩展。尽管现在研究人员还不需要花费太多的时间关注人工智能的可扩展性,但在不远的将来,这一部分开销将呈现指数级的增长。人工智能的未来应当属于可扩展的搜索与学习。


要点总结


现在


最火最有名的人工智能应用有:AlphaGo、自动驾驶汽车、扑克、语音识别与计算机视觉。为什么它会在现在出现?是因为人工智能算法的巨大进步还是因为摩尔定律?


摩尔定律肯定在其中扮演了重要角色。摩尔定律告诉我们,能够放置在一块相同大小的集成电路上的晶体管的数量大约每两年会翻一番。在计算机硬件领域的长时间指数级增长至少为人工智能的发展贡献了一半的力量。硬件是算法发展的一个巨大激励因素。


1. 是解决还是不解决,所涉及的是人工智能的问题,但根源来源于人类自身。

 a. 人工智能是不安全的且会威胁到人类本身,人工智能将会比人更聪明。

 b. 人工智能的研究人员有时对这些担忧过于轻视。


Richard Sutton认为


 a. 2040(40%), never(10%) 一个人类级别的人工智能将会是一项意义深远的科学成就,它可能会在 2030 年实现(25%),也可能在 2040 年实现(40%),也可能永远不会实现(10%)。


 b. 人工智能会带来很多改变,我们应为此做好准备。


 c. 对人工智能的恐惧被过于夸大了,且这种恐惧是无建设性的。有些恐惧人工智能的人甚至都不知道他们恐惧具体是什么。


  i. 如果人工智能比我们聪明,它们将会脱离我们的控制。很有可能人工智能会是我们的继任者而不是奴隶。而坏的继任者源自于它们父辈的错误。


  ii. 以摩尔定律的速度来看,人工智能的发展速度是缓慢的。


  iii. 最大的风险来源于那些不当使用人工智能之人。


过去:从长期来看可扩展的方法总是赢家。


1. 三波神经网络的热潮


 a.50-60 年代的感知机、Adaline:仅有一层可学习层。


 b.80-90 年代的连接主义(Connectionism)、神经网络:通过反向传递的多层学习(SGD)。


 c.2010 年起的深度学习:神经网络类的方法胜利了,因为它们的性能可以随着摩尔定律的发展大幅提高,而计算类(computational)的方法却做不到这一点。最优秀的算法本质上和 80 年代的算法是一样的,不同的是更快的计算机和更大的数据集。


2. 最好的解决方案来自于最好的算法和强有力的计算机。


 a. 赢得象棋比赛:关键是巨大、高效、启发式的搜索。


 b. 赢得围棋比赛:关键是巨大且基于样本的搜索。


 c. 理解自然语言:关键是一些统计式的机器学习方法和大数据集。


 d. 视觉识别物体:关键是大数据集、更多的参数和更长的训练时间。


3. 搜索和学习是可扩展的方法。


 a. 一个可随着摩尔定律扩展的方法在某种程度上它的性能大致和给予它的计算量成比例。


 b. 一个不能扩展的方法意味着它所带来的改进不太受可用计算能力的影响。


 c. 可扩展的能力是关键,但是它往往也与其他一些问题有关。


符号的 VS. 统计的、纯手工的 VS 可自我学习的、专用领域的 VS 通用的。尽管前者更依靠人类自己的理解,但是从人工智能的发展历史来看,那些统计化的、可自我学习的、通用的方法已经逐渐变得越来越重要。


未来


1. 监督学习的可扩展性有多大?并不太大


 a. 通过神经网络,学习的进程已经被大幅扩展。


 b. 可扩展性是有限度的,因为它需要人们提供训练数据。


2. 强化学习的可扩展性有多大?并不太大


 a. 一个经典的与不受模型限制的强化学习可以通过失败与错误学习出一条规则,不需要数据标注。


 b. 计算是廉价的,没有什么扩展性。


3. 相比较仅仅一个权值方程和策略,相比较仅仅老师告诉你的什么是应该做的事,还有太多的东西要学。


4. 世界经验知识的大挑战(知识表达与推理)。


 a. 知识的定义:知识是关于世界的状态和变化。


  i. 状态是事物过去的总结,它可以用来预测它将来的状态。


  ii. 有了状态的知识就是有了一个好的总结,它能够使预测更精确。


  iii. 预测本身就是动态的知识。


  iv. 需要预测的最重要的东西是状态和奖惩,当然,这取决于 agent 是做什么的。


 b. 举个例子,知识可以是知道象棋里的每一小步如何走,知道什么导致了什么,预测下面会发生什么。


 c. 知识必须具有可表达性(可以表示所有重要的事物)、可学习性(监督的或者非监督的)、适合推理和论证。


 d. 感觉运动观点(与感觉运动阶段有关的感觉运动)。


  i. 你的数据流其实就是你所知的世界中的每一件事。


  ii. 知识在数据中。


5. 一个古已有之的宏伟目标是用感觉运动数据来理解世界。


 a. 能够在各个抽象层次做预测。


 b. 这个目标非常适合进行扩展,它利用大量的数据来学习预测行为以及搜寻最好的抽象。


6. 在未来 12 个月中机器学习领域最重要的进展将会是:


 a. 从寻常知识中进行大规模学习的能力。


  i. 从与世界的互动中进行大规模学习的能力。


  ii. 这种学习不再需要已标注数据的训练集。


  iii. 以一种更自然的方式学习,就像儿童或者动物那样。


  iv. 学习世界如何,以及理解因果性。


 b. 能够使机器学习扩展到更高的水平。


 c. 使用深度强化学习来进行远期预测(可能)和/或 无监督的学习。


7. 新工具


 a. 通用的价值函数为高效可学习可预测的知识提供了一种统一语言。


 b. 可选项以及备选模型(时域抽象)。


 c. 可预测的状态表达。


 d. 新的离策略(off-policy)学习算法(梯度-TD,强度-TD)。


 e. 时域差分网络。


 f. 深度学习,表达搜索。


结论(最终看法)


1. 摩尔定律极大地影响了人工智能的发展。


2. 人工智能的未来属于可扩展的方法、搜索与学习。


3. 能够从平常经验中学习知识是一种巨大的进步。


4. 我们的计划应该具有雄心,并且可扩展,还要有耐心。


5. 在 AI 领域的研究者中,对于着眼于未来的可扩展性并不是十分有吸引力。因为对于想要出成绩的研究者而言,他们更希望自己对相关领域的贡献可以在短期内有显著的影响力,更希望自己的知识与新奇的想法应用的现有的研究当中。然而,随着硬件计算能力的提升,即使是一个算法具有优秀扩展性的算法没法在短期内满足研究应用的需求,从长远来看这样的算法将会很有竞争力。这就像「一步到位方法」vs.」长期演进方法」。研究者们应在他们自己的研究中找到平衡点。


相关阅读


通过强化学习教机器下象棋

https://www.technologyreview.com/s/541276/deep-learning-machine-teaches-itself-chess-in-72-hours-plays-at-international-master/


关于假肢的实时预测

https://webdocs.cs.ualberta.ca/~sutton/papers/PDDCCHS-13.pdf


Rich NIPS 2015 RL tutorial

https://www.microsoft.com/en-us/research/video/tutorial-introduction-to-reinforcement-learning-with-function-approximation/



©本文为机器之心原创,转载请联系本公众号获得授权


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9497 0
京东搜索排序在线学习的 Flink 优化实践
本文由京东搜索算法架构团队分享,主要介绍 Apache Flink 在京东商品搜索排序在线学习中的应用实践
2300 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
10844 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13186 0
十年磨一剑,阿里巴巴推荐与搜索深度学习服务体系AI·OS在云栖大会正式亮相
2018年9月21~22日,在以“驱动数字科技”为主题的云栖大会上,阿里巴巴搜索事业部特别推出了“搜索推荐专场”,“推荐与搜索引擎AI·OS专场”,深度参与了这场科技盛宴。   阿里巴巴推荐与搜索引擎平台支持了包括淘宝、天猫、菜鸟、优酷以及海外电商在内的整个阿里集团的推荐与搜索业务,引导成交占据了集团GMV的绝大部分份额。
5167 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
11509 0
深度学习超参数搜索实用指南
在本文中,我们将讨论为深度学习模型搜索最佳超参数集合的动机和策略,并演示如何在FloydHub上来完成任务。学习本文之后,这将会在深度学习工作中为你自动化寻找最佳配置的过程。
1938 0
学习 Linux,101: 使用正则表达式搜索文本文件
概述 本文深入介绍基础的 Linux 进程管理技术。您将学习如何: 创建简单的正则表达式 使用正则表达式搜索文件和文件系统 使用正则表达式和 sed 本文帮助您准备 Linux Professional Institute's Junior Level Administration (LPIC-1) 考试的 103 主题下的 103.7 考核目标。
833 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
6895 0
1724
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载