Richard Sutton:人工智能的未来属于搜索和学习

简介: Richard Sutton 在多伦多大学数学科学研究中心的机器学习应用进展系列研讨会上探讨了人工智能的未来方向。他认为人工智能的未来属于可扩展的方法、搜索与学习。而在人工智能未来的发展中,可扩展性是及其重要的方向。监督学习和计算能力的可扩展性并不大,真正重要的是在普通的经验知识世界中学习的能力,这个能力需要扩展。

Richard Sutton 在多伦多大学数学科学研究中心的机器学习应用进展系列研讨会上探讨了人工智能的未来方向。他认为人工智能的未来属于可扩展的方法、搜索与学习。而在人工智能未来的发展中,可扩展性是及其重要的方向。监督学习和计算能力的可扩展性并不大,真正重要的是在普通的经验知识世界中学习的能力,这个能力需要扩展。

E6BD6736-A725-4C50-9657-043C59A111ED.jpeg


点击查看原视频


摘要


当人类最终开始理解智能的原理并将这些原理赋予机器的时候,这会是我们这个时代,或者可以说是任何时代,最重要的发现。最近几年,随着深度学习及其相关领域的进步,这一巨大的进步几乎触手可及。它给人类所带来的后果、利益和危险已成为新闻界、各种公共政策会议以及科学会议上的热门话题,这是一种夸张和恐惧,还是隐藏在激动人心之下的真正科学进步?在这次讨论中,我将基于我 38 年的人工智能研究经验,给大家讲一些有用的但毫无疑问又带有偏颇的观点。我所讲的内容包括两个方面:1)将目前的发展视为人工智能最长久趋势的一部分——更廉价的计算,以及由此而来的将会扮演更重要角色的搜索、学习以及所有可扩展的事情,2)基于预测以及强化学习,勾勒出一条可能的人工智能之路。


介绍


在不远的将来,人工智能的可扩展性将会是极其重要的。鉴于摩尔定律奠定了我们目前计算能力发展的基础,根据该定律我们的计算资源每两年将翻一番。优秀的算法必须能够随着硬件的发展而扩展。尽管现在研究人员还不需要花费太多的时间关注人工智能的可扩展性,但在不远的将来,这一部分开销将呈现指数级的增长。人工智能的未来应当属于可扩展的搜索与学习。


要点总结


现在


最火最有名的人工智能应用有:AlphaGo、自动驾驶汽车、扑克、语音识别与计算机视觉。为什么它会在现在出现?是因为人工智能算法的巨大进步还是因为摩尔定律?


摩尔定律肯定在其中扮演了重要角色。摩尔定律告诉我们,能够放置在一块相同大小的集成电路上的晶体管的数量大约每两年会翻一番。在计算机硬件领域的长时间指数级增长至少为人工智能的发展贡献了一半的力量。硬件是算法发展的一个巨大激励因素。


1. 是解决还是不解决,所涉及的是人工智能的问题,但根源来源于人类自身。

a. 人工智能是不安全的且会威胁到人类本身,人工智能将会比人更聪明。

b. 人工智能的研究人员有时对这些担忧过于轻视。


Richard Sutton认为


a. 2040(40%), never(10%) 一个人类级别的人工智能将会是一项意义深远的科学成就,它可能会在 2030 年实现(25%),也可能在 2040 年实现(40%),也可能永远不会实现(10%)。


b. 人工智能会带来很多改变,我们应为此做好准备。


c. 对人工智能的恐惧被过于夸大了,且这种恐惧是无建设性的。有些恐惧人工智能的人甚至都不知道他们恐惧具体是什么。


 i. 如果人工智能比我们聪明,它们将会脱离我们的控制。很有可能人工智能会是我们的继任者而不是奴隶。而坏的继任者源自于它们父辈的错误。


 ii. 以摩尔定律的速度来看,人工智能的发展速度是缓慢的。


 iii. 最大的风险来源于那些不当使用人工智能之人。


过去:从长期来看可扩展的方法总是赢家。


1. 三波神经网络的热潮


a.50-60 年代的感知机、Adaline:仅有一层可学习层。


b.80-90 年代的连接主义(Connectionism)、神经网络:通过反向传递的多层学习(SGD)。


c.2010 年起的深度学习:神经网络类的方法胜利了,因为它们的性能可以随着摩尔定律的发展大幅提高,而计算类(computational)的方法却做不到这一点。最优秀的算法本质上和 80 年代的算法是一样的,不同的是更快的计算机和更大的数据集。


2. 最好的解决方案来自于最好的算法和强有力的计算机。


a. 赢得象棋比赛:关键是巨大、高效、启发式的搜索。


b. 赢得围棋比赛:关键是巨大且基于样本的搜索。


c. 理解自然语言:关键是一些统计式的机器学习方法和大数据集。


d. 视觉识别物体:关键是大数据集、更多的参数和更长的训练时间。


3. 搜索和学习是可扩展的方法。


a. 一个可随着摩尔定律扩展的方法在某种程度上它的性能大致和给予它的计算量成比例。


b. 一个不能扩展的方法意味着它所带来的改进不太受可用计算能力的影响。


c. 可扩展的能力是关键,但是它往往也与其他一些问题有关。


符号的 VS. 统计的、纯手工的 VS 可自我学习的、专用领域的 VS 通用的。尽管前者更依靠人类自己的理解,但是从人工智能的发展历史来看,那些统计化的、可自我学习的、通用的方法已经逐渐变得越来越重要。


未来


1. 监督学习的可扩展性有多大?并不太大


a. 通过神经网络,学习的进程已经被大幅扩展。


b. 可扩展性是有限度的,因为它需要人们提供训练数据。


2. 强化学习的可扩展性有多大?并不太大


a. 一个经典的与不受模型限制的强化学习可以通过失败与错误学习出一条规则,不需要数据标注。


b. 计算是廉价的,没有什么扩展性。


3. 相比较仅仅一个权值方程和策略,相比较仅仅老师告诉你的什么是应该做的事,还有太多的东西要学。


4. 世界经验知识的大挑战(知识表达与推理)。


a. 知识的定义:知识是关于世界的状态和变化。


 i. 状态是事物过去的总结,它可以用来预测它将来的状态。


 ii. 有了状态的知识就是有了一个好的总结,它能够使预测更精确。


 iii. 预测本身就是动态的知识。


 iv. 需要预测的最重要的东西是状态和奖惩,当然,这取决于 agent 是做什么的。


b. 举个例子,知识可以是知道象棋里的每一小步如何走,知道什么导致了什么,预测下面会发生什么。


c. 知识必须具有可表达性(可以表示所有重要的事物)、可学习性(监督的或者非监督的)、适合推理和论证。


d. 感觉运动观点(与感觉运动阶段有关的感觉运动)。


 i. 你的数据流其实就是你所知的世界中的每一件事。


 ii. 知识在数据中。


5. 一个古已有之的宏伟目标是用感觉运动数据来理解世界。


a. 能够在各个抽象层次做预测。


b. 这个目标非常适合进行扩展,它利用大量的数据来学习预测行为以及搜寻最好的抽象。


6. 在未来 12 个月中机器学习领域最重要的进展将会是:


a. 从寻常知识中进行大规模学习的能力。


 i. 从与世界的互动中进行大规模学习的能力。


 ii. 这种学习不再需要已标注数据的训练集。


 iii. 以一种更自然的方式学习,就像儿童或者动物那样。


 iv. 学习世界如何,以及理解因果性。


b. 能够使机器学习扩展到更高的水平。


c. 使用深度强化学习来进行远期预测(可能)和/或 无监督的学习。


7. 新工具


a. 通用的价值函数为高效可学习可预测的知识提供了一种统一语言。


b. 可选项以及备选模型(时域抽象)。


c. 可预测的状态表达。


d. 新的离策略(off-policy)学习算法(梯度-TD,强度-TD)。


e. 时域差分网络。


f. 深度学习,表达搜索。


结论(最终看法)


1. 摩尔定律极大地影响了人工智能的发展。


2. 人工智能的未来属于可扩展的方法、搜索与学习。


3. 能够从平常经验中学习知识是一种巨大的进步。


4. 我们的计划应该具有雄心,并且可扩展,还要有耐心。


5. 在 AI 领域的研究者中,对于着眼于未来的可扩展性并不是十分有吸引力。因为对于想要出成绩的研究者而言,他们更希望自己对相关领域的贡献可以在短期内有显著的影响力,更希望自己的知识与新奇的想法应用的现有的研究当中。然而,随着硬件计算能力的提升,即使是一个算法具有优秀扩展性的算法没法在短期内满足研究应用的需求,从长远来看这样的算法将会很有竞争力。这就像「一步到位方法」vs.」长期演进方法」。研究者们应在他们自己的研究中找到平衡点。


相关阅读


通过强化学习教机器下象棋

https://www.technologyreview.com/s/541276/deep-learning-machine-teaches-itself-chess-in-72-hours-plays-at-international-master/


关于假肢的实时预测

https://webdocs.cs.ualberta.ca/~sutton/papers/PDDCCHS-13.pdf


Rich NIPS 2015 RL tutorial

https://www.microsoft.com/en-us/research/video/tutorial-introduction-to-reinforcement-learning-with-function-approximation/



©本文为机器之心原创,转载请联系本公众号获得授权


相关文章
|
19天前
|
人工智能 自然语言处理 搜索推荐
人工智能与教育:个性化学习的未来
【10月更文挑战第31天】在科技飞速发展的今天,人工智能(AI)正深刻改变教育领域,尤其是个性化学习的兴起。本文探讨了AI如何通过智能分析、个性化推荐、智能辅导和虚拟现实技术推动个性化学习,分析了其带来的机遇与挑战,并展望了未来的发展前景。
|
21天前
|
人工智能 搜索推荐 语音技术
人工智能与未来教育:重塑学习方式的双刃剑
在21世纪,人工智能(AI)技术正以前所未有的速度发展,深刻影响着社会的各个方面,其中包括教育领域。本文探讨了AI如何改变传统教育模式,提出其既带来积极影响也伴随着挑战的观点。通过分析具体案例和数据,文章旨在启发读者思考如何在保留人类教师不可替代价值的同时,有效利用AI技术优化教育体验。
|
21天前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能与未来教育:重塑学习体验
【10月更文挑战第20天】 在21世纪的今天,人工智能(AI)技术正以前所未有的速度改变着我们的生活、工作和学习方式。本文探讨了AI如何深刻影响未来教育的各个方面,从个性化学习路径的设计到智能辅导系统的开发,再到虚拟现实(VR)和增强现实(AR)技术在学习中的应用。通过分析这些变革,我们不仅能够预见一个更加高效、互动和包容的教育未来,而且还能理解这一过程中所面临的挑战和机遇。文章强调了持续创新的重要性,并呼吁教育工作者、技术开发者和政策制定者共同努力,以确保技术进步惠及每一个学习者。
45 2
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能在教育中的创新应用:个性化学习的未来
【9月更文挑战第18天】人工智能在教育中的创新应用正在深刻改变着我们的教学方式和学习体验。从个性化学习方案的制定到智能化辅导与反馈,从多元化学习资源的推荐到自动化评分与智能考试系统,AI技术正在为教育领域带来前所未有的变革。面对这一变革,我们需要以开放和批判的态度拥抱它,共同探索AI时代教育的无限可能,为每一个学习者创造更美好的未来。
223 12
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
【人工智能】学习人工智能需要学习哪些课程,从入门到进阶到高级课程区分
基于人工智能的多学科特性和其广泛的应用领域,学习这一技术涉及从基础理论到实践应用的各个层面。入门阶段应重点掌握数学基础、编程语言学习以及数据结构和算法等。进阶阶段需要深入机器学习、深度学习以及自然语言处理等专题。高级课程则包括专业核心课程、认知心理学与神经科学基础以及计算机图形学等课程
113 1
|
3月前
|
数据采集 人工智能 数据可视化
【2023年电工杯竞赛】B题 人工智能对大学生学习影响的评价 数学建模方案和python代码
本文介绍了2023年电工杯竞赛B题的数学建模方案和Python代码实现,详细阐述了如何分析调查问卷数据,建立评价指标体系,构建数学模型评估人工智能对大学生学习的影响,并提供了数据预处理、特征编码、可视化分析等代码示例。
65 0
【2023年电工杯竞赛】B题 人工智能对大学生学习影响的评价 数学建模方案和python代码
|
3月前
|
机器学习/深度学习 人工智能 算法
AI人工智能(ArtificialIntelligence,AI)、 机器学习(MachineLearning,ML)、 深度学习(DeepLearning,DL) 学习路径及推荐书籍
AI人工智能(ArtificialIntelligence,AI)、 机器学习(MachineLearning,ML)、 深度学习(DeepLearning,DL) 学习路径及推荐书籍
125 0
|
4月前
|
机器学习/深度学习 人工智能 缓存
人工智能平台PAI使用问题之如何配置学习任务
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
5月前
|
机器学习/深度学习 人工智能 TensorFlow
怎样学习人工智能
【6月更文挑战第27天】怎样学习人工智能。
81 4
|
4月前
|
机器学习/深度学习 人工智能 监控
智能增强:人工智能在个性化学习中的应用
【7月更文挑战第3天】随着人工智能技术的飞速发展,教育领域正经历着一场革命。本文将探讨AI如何通过智能增强技术,实现个性化学习,从而提高教育质量和效率。我们将分析AI在识别学生需求、适应不同学习风格、提供实时反馈和调整教学内容方面的能力,并讨论这些技术对传统教育模式的影响,以及未来可能的发展方向。
138 0