12位专家,展望未来5年深度学习发展趋势

简介:
2015年已然过去,2016刚刚开始,回头将目光集中于去年的成就上,以及对将来科学趋势的预测。去年最令人瞩目的一个领域就是深度学习,它是机器学习中越来越流行的一个分支,看起来它会继续向前发展,并会运用到越来越多的行业和领域中。


在过去的一年中,我们有幸通过RE•WORK节目与从事人工智能和计算机科学方面的许多大牛进行交流,我们期待在2016年会晤更多的专家,并向他们学习。


作为Q&A;系列的一部分,我们邀请了一些深度学习方面最为资深的人士,来预测深度学习领域未来5年的可能发展情况。


未来5年我们可能看到深度学习会有怎样的发展?


Ilya Sutskever,OpenAI研究总监:我们应该会看到更为深层的模型,与如今的模型相比,这些模型可以从更少的训练样例中学习,在非监督学习方面也会取得实质性进展。我们应该会看到更精准有用的语音和视觉识别系统。


Sven Behnke,波恩大学全职教授、自主智能系统小组负责人:我期望深度学习能够越来越多地被用于多模(multi-modal)问题上,在数据上更结构化。这将为深度学习开创新的应用领域,比如机器人技术,数据挖掘和知识发现。


Christian Szegedy,谷歌高级研究员:目前深度学习算法和神经网络的性能与理论性能相去甚远。如今,我们可以用五到十分之一的成本,以及十五分之一的参数来设计视觉网络,而性能比一年前花费昂贵成本设计出的网络更优,这完全凭借改善的网络架构和更好的训练方法。我坚信,这仅仅只是个开始:深度学习算法将会更高效,能够在廉价的移动设备上运行,即使没有额外的硬件支持或是过高的内存开销。



Andrej Karpathy,斯坦福大学在读计算机科学博士、OpenAI研究科学家:我不打算从高层面描述几个即将到来的有趣发展,我将会集中于一个方面作具体描述。我看到的一个趋势是,架构正在迅速地变得更大、更复杂。我们正在朝着建设大型神经网络系统方面发展,交换神经组件的输入输出,不同数据集上预训练的网络部分,添加新模块,同时微调一切等等。比如,卷积网络曾是最大/最深的神经网络架构之一,但如今,它被抽象成了大多数新架构中的一小部分。反过来,许多这些架构也会成为将来创新架构中的一小部分。我们正在学习如何堆“乐高积木”,以及如何有效地将它们连线嵌套建造大型“城堡”。


Pieter Abbeel,加州大学伯克利分校计算机科学副教授、Gradescope联合创始人:有很多技术都基于深度监督式学习技术,视频技术也是一样,搞清楚如何让深度学习在自然语言处理方面超越现在的方法,在深度无监督学习和深度强化学习方面也会取得显著进步。


Eli David,Deep Instinct CTO:在过去的两年中,我们观察到,在大多数使用了深度学习的领域中,深度学习取得了极大的成功。即使未来5年深度学习无法达到人类水平的认知(尽管这很可能在我们有生之年发生),我们也将会看到在许多其他领域里深度学习会有巨大的改进。具体而言,我认为最有前途的领域将是无监督学习,因为世界上大多数数据都是未标记的,而且我们大脑的新皮层是一个很好的无监督学习区域。


Deep Instinct是第一家使用深度学习进行网络安全研究的公司,在今后几年,我希望有更多的公司使用深度学习进行网络安全研究。然而,使用深度学习的门槛还是相当高的,尤其是对那些通常不使用人工智能方法(例如,只有少数几个解决方案采用经典机器学习方法)的网络安全公司,所以在深度学习成为网络安全领域广泛运用的日常技术之前,这还将需要数年时间。



Daniel McDuff,Affectiva研究总监:深度学习已经成为在计算机视觉,语音分析和许多其他领域占优势的机器学习形式。我希望通过一或两个GPU提供的计算能力构建出的精准识别系统能够让研究人员在现实世界中开发和部署新的软件。我希望有更多的重点放在无监督训练、半监督训练算法上,因为数据一直不断增长。


Jörg Bornschein,加拿大高级研究所(CIFAR)全球学者预测未来总是很难。我希望无监督、半监督和强化学习方法将会扮演比今天更突出的角色。当我们考虑将机器学习作为大型系统的一部分,比如,在机器人控制系统或部件中,掌控大型系统计算资源,似乎很明显地可以看出,纯监督式方法在概念上很难妥善解决这些问题。


Ian Goodfellow,谷歌高级研究科学家:我希望在五年之内,我们将可以让神经网络总结视频片段的内容,并能够生成视频短片。神经网络已经是视觉任务的标准解决方案了。我希望它也能成为NLP和机器人任务的标准解决方案。我还预测,神经网络将成为其他科学学科的重要工具。比如,神经网络可以被训练来对基因、药物和蛋白质行为进行建模,然后用于设计新药物。


Nigel Duffy,Sentient Technologies CTO:目前大数据生态系统一直专注于收集,管理,策展大量数据。很明显,在分析和预测方面也有很多工作。从根本上说,企业用户不关心那些。企业用户只关心结果,即“这些数据将会改变我的行为方式吗?将会改变我做出的抉择吗?”我们认为,这些问题是未来5年需要解决的关键问题。我们相信,人工智能将会是数据和更好的决策之间的桥梁。


很明显,深度学习将会在演变中起到显著的作用,但需要与其他人工智能方法结合。在接下来的5年里,我们会看到越来越多的混合系统中,深度学习用于处理一些难以感知的任务,而其他人工智能和机器学习(ML)技术用于处理其他部分的问题,如推理。



Koray Kavukcuoglu & Alex Graves,谷歌DeepMind研究科学家:未来5年会发生许多事。我们希望无监督学习和强化学习会更加杰出。我们同样希望看到更多的多模式学习,以及对多数据集学习更加关注。


Charlie Tang,多伦多大学机器学习小组博士生:深度学习算法将逐步用于更多的任务并且将“解决”更多的问题。例如,5年前,人脸识别算法的准确率仍然比人类表现略差。然而,目前在主要人脸识别数据集(LFW)和标准图像分类数据集(Imagenet)上算法的表现已经超过了人类。在未来5年,越来越难的问题,如视频识别,医学影像或文字处理将顺利由深度学习算法解决。我们还可以看到深度学习算法被移植到商业产品中,就像10年前人脸检测如何被纳入相机中一样。



往期精彩文章推荐,点击图片可阅读

  • 剑桥大学研究员总结:26条深度学习经验



  • 机器视觉与深度神经网络—洗去浮华,一窥珠玑

.原文发布时间为:2016-01-07


本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关文章
|
7月前
|
机器学习/深度学习 API 语音技术
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
未来深度学习技术的发展趋势与挑战
随着人工智能的快速发展,深度学习作为其核心技术之一,正面临着多样化和复杂化的挑战。本文探讨了未来深度学习技术的发展趋势,分析了当前面临的技术挑战,并提出了应对策略。 【7月更文挑战第10天】
115 0
|
4月前
|
机器学习/深度学习 自然语言处理 负载均衡
揭秘混合专家(MoE)模型的神秘面纱:算法、系统和应用三大视角全面解析,带你领略深度学习领域的前沿技术!
【8月更文挑战第19天】在深度学习领域,混合专家(Mixture of Experts, MoE)模型通过整合多个小型专家网络的输出以实现高性能。从算法视角,MoE利用门控网络分配输入至专家网络,并通过组合机制集成输出。系统视角下,MoE需考虑并行化、通信开销及负载均衡等优化策略。在应用层面,MoE已成功应用于Google的BERT模型、Facebook的推荐系统及Microsoft的语音识别系统等多个场景。这是一种强有力的工具,能够解决复杂问题并提升效率。
138 2
|
3月前
|
机器学习/深度学习 数据挖掘 TensorFlow
从数据小白到AI专家:Python数据分析与TensorFlow/PyTorch深度学习的蜕变之路
【9月更文挑战第10天】从数据新手成长为AI专家,需先掌握Python基础语法,并学会使用NumPy和Pandas进行数据分析。接着,通过Matplotlib和Seaborn实现数据可视化,最后利用TensorFlow或PyTorch探索深度学习。这一过程涉及从数据清洗、可视化到构建神经网络的多个步骤,每一步都需不断实践与学习。借助Python的强大功能及各类库的支持,你能逐步解锁数据的深层价值。
67 0
|
7月前
|
机器学习/深度学习 PyTorch API
|
7月前
|
机器学习/深度学习 存储 人工智能
深度学习的发展趋势是什么?
【5月更文挑战第11天】深度学习的发展趋势是什么?
247 1
|
机器学习/深度学习 人工智能 测试技术
2022年深度学习的发展趋势与问题
我们将人工智能(AI)深度学习的又一年激动人心的发展抛在身后——这一年充满了显着的进步、争议,当然还有争议。在我们结束 2022 年并准备迎接 2023 年的到来之际,以下是今年深度学习领域最显着的总体趋势。
720 0
2022年深度学习的发展趋势与问题
|
机器学习/深度学习 人工智能 Linux
Intel 技术专家直播:x86平台上,AI能力的演进及深度学习加速的关键技术
今天晚8点,扫码图中进入 InfoQ直播间,等你一起来探讨在英特尔各代 x86 平台上,AI 能力是如何进行演进的?
Intel 技术专家直播:x86平台上,AI能力的演进及深度学习加速的关键技术
|
机器学习/深度学习 人工智能 自然语言处理
Ask me anything: 深度学习专家 Yoshua Bengio 答 Reddit 网友问
reddit 上有一个很有名的 Ask Me Anything (问我任何事)栏目,会邀请一些牛人来回答网友的问题。本文节选了 Yoshua Bengio 机器学习领域的领军人物在 AMA 上的一些精彩回答,和大家分享。
210 0
Ask me anything: 深度学习专家 Yoshua Bengio 答 Reddit 网友问
|
机器学习/深度学习 JSON 文字识别
手绘稿如何1秒变身数据大屏?深度学习让人人成为可视化专家
小叽导读:LADV是DataV内嵌的智能识别设计产品,能够迅速学习和识别手绘草图、信息图表、大屏截图等资料,并在DataV内自动生成可配置的可视化应用。也就是说,LADV的出现,能将过去数据可视化应用搭建过程中痛苦的前端还原图表设计稿的过程压缩为秒级!
2168 0
手绘稿如何1秒变身数据大屏?深度学习让人人成为可视化专家