【2018深度学习10大警示】多数芯片公司将破产;自我对弈可自动创造知识

简介: 2018年,对于深度学习来说,将是剧变的一年。多数硬件公司将破产;元学习将成为新随机梯度下降法;直觉机器将弥合语义差异;深度学习研究将愈发泛滥等十大趋势值得注意。

2018年,对于深度学习来说,将是剧变的一年。2017年深度学习的许多突破将在2018年继续强势推进。许多研究将成为日常应用。以下是对2018年深度学习的十个警示性预测。

多数深度学习硬件初创公司将失败

许多深度学习硬件初创企业将在2018年开始交付芯片。很多公司都将失败,因为他们并未提供良好的软件来支持新解决方案。虽然这些公司有硬件,但在深度学习领域,软件同样重要。这些创业公司大多不了解软件,也不了解开发软件的成本。

收缩阵列解决方案已经被采用,所以2018年不会出现去年发现的大规模的10倍性能升级。研究人员将把这些张量核心用于推断和加快训练。

英特尔的解决方案将继续推迟,结果也很有可能令人失望。

Google的TPU发展将继续震惊世界。也许Google会通过将其IP授权给其他半导体供应商来进入硬件领域。那样,谷歌就会成为英伟达之外的真正芯片玩家。

元学习将成为新随机梯度下降法

2017年出现了很多关于元学习的优秀研究。由于研究界能更好理解元学习,旧的随机梯度下降(SGD)将采用一种更有效的方法,这种方法将结合开发性和探索性搜索方法。

无监督学习的进展将会不断增加,但主要由元学习算法驱动。

生成模型驱动新型建模

目前,大多数研究是在生成图像和语音。2018年,这种方法将被纳入复杂系统建模工具中。深度学习在经济建模中的应用将增多。

自我对弈可自动创造知识

AlphaGo Zero和AlphaZero从零开始自我学习是一个巨大的飞跃。在我看来,这和发现深度学习同样重要。深度学习发现了通用函数逼近器。而强化学习自我对弈发现了通用知识创造。

直觉机器将弥合语义差异

直觉机器和理性机器之间的语义鸿沟将被弥合(如果它尚未被弥合的话)。双重过程理论(两种认知机制,一种是无模型的,另一种是以模型为基础的)将更流行。“人工直觉”将不再是一个附加概念,2018年会更普及。

无法实现可解释性

有两个关于解释性的问题。较为常见的一个问题是,人类无法掌握过多解释规则。另一个不为人所知的问题是,机器创造的概念是完全陌生和违反解释规则的。我们已经在AlphaGo Zero和AlphaZero的策略中看到了这一点。人类会观察到一个举动非常规,但是可能根本无法理解这一举动背后的逻辑。

在我看来这是一个无法解决的问题。相反,机器正在变得非常擅长“伪造解释”。简而言之,“具有可解释性的机器”这一目标是理解人类可以理解的解释。然而,在大多数情况下,人类无法完全获得完全可解释性。

深度学习的可解释性将通过创建“伪造解释”来实现。

深度学习研究泛滥

ICLR 2018年会议上提交的论文数量约为4000份。一个研究员每天必须看10篇论文,才能跟上这种节奏。

为了在理论上取得进步,我们需要更先进的数学来帮助理解问题。这将成为一个难题,因为大多数深度学习研究人员没有相应的数学背景来理解这类系统的复杂性。深度学习需要有深厚数学背景的研究人员,然而这类研究人员却非常少。

由于论文太多,理论欠佳,导致了现在“炼金术”的状态。

目前还缺少通向通用人工智能的总体路线图。由于理论薄弱,因此我们能做的就是制定与人类认知有关的路线图。我们只有源自认知心理学的思辨理论框架。这是一个糟糕的情况,因为来自这些领域的实证数据质量参差不齐。

2018年,深度学习研究论文数量可能会翻三番或四倍。

通过教学环境实现产业化

通过教学环境的发展,深度学习系统会更具可预测性和可控性。如果你想找到最原始的教学方法,那么只需要看看如何训练深度学习网络。我们在这方面取得了很多进展。

会话认知

我们衡量通用人工智能的方式是过时的,需要一种新范式来解决现实世界的动态复杂性(动态意为非固定)。2018年将看到更多相关报道。

有道德地使用AI

2018年将需要更多有道德地使用人工智能。人们现在愈发意识到,自动化所带来的意料之外的灾难性影响。现在Facebook,Twitter,Google,Amazon上的一些简单自动化可能会对社会造成不良影响。

在部署能够预测人类行为的机器时,我们需要了解相应道德规范。


原文发布时间为:2018-01-03

本文作者:Cecilia

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”微信公众号

原文链接:【2018深度学习10大警示】多数芯片公司将破产;自我对弈可自动创造知识

相关文章
|
7月前
|
机器学习/深度学习 自然语言处理 算法
深度学习算法:从模仿到创造
深度学习是一种受到生物学启发的机器学习方法,其目标是通过构建多层神经网络来模拟人脑的工作原理。它在过去几十年来取得了巨大的进展,并在图像识别、语音识别、自然语言处理等领域取得了突破性的成果。 深度学习的核心思想是模仿人脑的神经网络。人脑中的神经元通过连接起来形成庞大的神经网络,用来处理感知、思维和决策等任务。深度学习的神经网络也是由许多层次的神经元组成,每一层都能够从上一层中学习到更加抽象的特征表示。通过训练数据,深度学习模型能够自动学习到最优的特征表示,并用于解决各种复杂的任务。
|
机器学习/深度学习 存储 算法
UIUC陈德铭教授:「万能芯片」FPGA与深度学习
FPGA 与深度学习的关系究竟是什么?它适合加速何种类型的运算?适合应用于何种场景?6 月,机器之心采访了美国伊利诺伊大学香槟分校电气与计算机工程系(UIUC ECE)教授、深度学习算法硬件加速解决方案创业公司 Inspirit IoT 创始人陈德铭,与他聊了聊「万能芯片」FPGA 在深度学习领域的用法。陈教授于近期宣布兼任国内计算机视觉领域创业公司触景无限的首席科学家。
464 0
 UIUC陈德铭教授:「万能芯片」FPGA与深度学习
|
机器学习/深度学习 人工智能 缓存
深度学习芯片大战愈演愈烈,英特尔为何斥巨资收购创业公司Nervana?
深度学习创业公司 Nervana Systems 一直是机器之心重点关注的人工智能领域的创业公司之一。在文章《深度 | 深度学习创业公司需要了解的12件事》中,该公司的三位创始人讲解了深度学习创业需要了解的事项。作为最早的一批人工智能创业公司,如今它的价值已经被科技巨头所看重。今日消息,该公司已经被英特尔以 4 亿美元的价格收购。
232 0
深度学习芯片大战愈演愈烈,英特尔为何斥巨资收购创业公司Nervana?
|
机器学习/深度学习 人工智能 程序员
谷歌深度学习找到 AI 芯片关键路径,机器学习开始用于优化芯片架构
谷歌深度学习找到 AI 芯片关键路径,机器学习开始用于优化芯片架构
|
机器学习/深度学习 人工智能 算法
|
机器学习/深度学习 存储 人工智能
谢源:计算存储一体化,在存储里做深度学习,架构创新实现下一代AI芯片
加州大学圣芭芭拉分校教授谢源发表了演讲《人工智能时代的计算机架构创新》。AI时代硬件领域犹如战国群雄争霸,没有一种芯片能完全通用,也没有一家公司能独霸市场。在这个激动人心的时代,硬件研发似乎有无限可能。
6490 0
|
机器学习/深度学习 传感器 人工智能
分析全球334家真正的深度学习创业公司,盘点25家AI芯片创业公司 | IEEE Fellow Chris Rowen演讲
当下,随处可见的摄像头改变了视频流和应用程序的数量,也改变了视觉算法。新智元AI WORLD 2017 世界人工智能大会,硅谷知名企业家、IEEE Fellow Chris Rowen分享了《视觉、创新和深度学习大爆炸》。
1698 0
|
机器学习/深度学习 人工智能 大数据