深度学习理论研究已进入瓶颈期?看看李飞飞们怎么说

简介: AI圈推特红人,Keras框架的作者François Chollet又搞大新闻了!近日François Chollet在推特上发推称:“深度学习研究已经进入了瓶颈期。将深度学习应用于解决现实生活问题的应用正在迎来一个大爆发。”

AI圈推特红人,Keras框架的作者François Chollet又搞大新闻了!近日François Chollet在推特上发推称:“深度学习研究已经进入了瓶颈期。将深度学习应用于解决现实生活问题的应用正在迎来一个大爆发。”

深度学习理论研究已进入瓶颈期?看看李飞飞们怎么说

这条推特下很快获得了上千个赞、数百转发,以及一系列热烈讨论。从回复中看,不少回复者(尤其是产业界人士)认为,“深度学习进入平台期”的提法值得商榷,雷锋网节选了其中几条:

Buzzfeed首席数据科学家、哥伦比亚大学客座助理教授Adam Kelleher:

会不会这只是社交网络造成的样本偏差?

Machinebox.io创始人David Hernandez:

在我看来在“实际问题”的应用上还是很有限。我和不少人聊过,他们往往做的是Chatbot、欺诈检测或者推荐这三类应用之一。

爱丁堡大学助理教授、艾伦·图灵学院Fellow Charles Sutton‏:

我们能不能先讨论整个深度学习的繁荣时代是否已经到来?

Google Research研究员David Berthelot:

我觉得如果你写一篇长文章来解释一下,为什么你认为现在的深度学习已经进入平台期,这对于我和其他读者来说更有启迪性。

CarrerBuilder大数据首席研究员Faizan Javed:

增强学习难道不是新的热点吗?

而Google Cloud机器学习负责人斯坦福大学副教授李飞飞则赞同François Chollet的观点,但同样表示深度学习还有很长的路要走:

深度学习理论研究已进入瓶颈期?看看李飞飞们怎么说

同意!大浪淘沙,最后只有少数工具青史留名;学无止境,(深度学习)无论在智力、人力或机器设备方面,都还有很长的路要走。

那么其他人怎么看呢?雷锋网(公众号:雷锋网)就深度学习的理论研究进展与实际应用趋势征询了若干专家的意见:

微软亚洲研究院主任研究员郑宇表示,深度学习爆发的瓶颈在人工智能技术与传统行业的对接:

我部分认同这个观点。目前的数据、技术和基础设施确实已经成熟,可以迎来未来应用的爆发,但能否爆发的瓶颈可能不在技术本身,而在于人工智能技术与传统行业的对接。AI的未来不在IT业,而在于AI跟广大传统行业的融合,如交通、规划、能源、环境、物流、制造和金融等。AI从业者需要学习传统行业知识,理解传统业务的逻辑和痛点,并懂得用传统行业的语言跟行业专家对接。既要帮助革新传统行业,也要懂得尊重传统行业,这需要有很强综合实力的数据科学家。此类复合型人才的培养非常困难、周期长、且不容易量产,可能会成为制约AI大爆发的真正瓶颈。

地平线机器人创始人、前百度研究院副院长余凯对雷锋网表示,深度学习理论研究的主流架构会收敛,很难有革命性的理论突破:

基本认同这一观点。未来学术研究还是会基于当前研究持续进行,但是不会有革命性的,大家的主流架构会收敛,所以后续的重点是深度神经网络在各个具体应用场景的落地部署。

密苏里科大助理教授傅衍杰则用PHP框架化编程类比现在这一波深度学习:

基本同意这两个观点。类似web系统, 当年PHP大行其道,就是因为许多人用PHP编程语言,基于MVC的设计模式,设计了许多web编程框架。现在,深度学习也类似的涌现了许多编程框架 ,比如Tensor flow, Theano, Keras, Torch等等。这些框架使得Deep Learning变得更加易用,实现起来的编程工作量更小,出现错误的可能性更低。所以深度学习的确进入了一个平台期。


结合数据挖掘的研究思路,深度学习通过层次化的学习模型,对研究对象进行表征学习,等于使用隐式的办法去完成表征这一步骤。所以,深度学习是可以放入感知-表征-建模-应用,这么一个很实用也很接地气的解决问题的思路中的。

华为诺亚方舟实验室研究员李震国认为,理论往往是超前于应用的,计算能力的提升和大数据的出现正是印证了之前算法和理论的有效性:

我同意他的观点。不是理论取得了突破,而是算法的有效性由于计算能力的提升和大数据的出现获得了验证。应用会一直是机器学习的重点,同时理论和可解释性会一直被探索。除了GAN, deep meta-learning也值得关注。

密歇根州立大学助理教授汤继良认为,深度学习工程化的门槛越来越低,而理论的门槛越来越高:

深度学习正在两极化。大部分甚至越来越多的深度学习的人会偏向于工程化。包括建立更加全面便捷,快速甚至可视化的深度学习平台,和adapt 甚至暴力地将深度学习应用到更加多的领域。小部分的深度学习研究者会偏向于理论化:解决深度学习的理论瓶颈包括可解释性等。一个正在发生的趋势是:工程化的门槛越来越低,而理论的门槛越来越高。所以我还是基本认同他的观点 ,但是我们也非常地期待深度学习理论上的突破。

中科院自动化所副研究员张家俊认为,深度学习还未有真正的爆发性大规模成功应用:

我对深度学习理论没深入研究,无法判断理论研究的趋势,不过在应用方面,显然深度学习还未有真正的爆发性大规模成功应用,我觉得在各种实际应用问题中爆发应该是一个趋势。在应用方面,关键的是针对特定应用,理解该领域的数据、场景和背景知识,选择合适的深度学习方法,而不是鲁莽地拿来即用。

结语

雷锋网认为,如果从历史的发展来看,当前深度学习领域的经典算法和理论往往都是已经提出了一段时间,而随着计算能力和数据规模的发展,这些经典理论和算法逐步得到了验证。如果从深度学习的问题和挑战、以及解决问题的思路来说已经发展得比较完备,因此说深度学习“进入平台期”也是不无道理。但从另一个角度看,进入“平台期”的可能是一些深度学习的经典问题,但如果对于这些经典问题继续深入研究,或许能够从中发现之前没有想到的解决方法(例如,在ImageNet图像识别上,在Alex Krizhevsky用GPU死磕将效果大幅度提升之前,大部分人应该都不会想到AlexNet)。正如李飞飞所言,学无止境,深度学习还有很长的路要走 。



本文作者:岑大师
本文转自雷锋网禁止二次转载, 原文链接
目录
相关文章
|
3月前
|
机器学习/深度学习 数据可视化 网络架构
增强深度学习模型的可解释性和泛化能力的方法研究
【8月更文第15天】在深度学习领域,模型的准确率和预测能力是衡量模型好坏的重要指标。然而,随着模型复杂度的增加,它们往往变得越来越难以理解,这限制了模型在某些关键领域的应用,例如医疗诊断、金融风险评估等。本文将探讨如何通过几种方法来增强深度学习模型的可解释性,同时保持或提高模型的泛化能力。
328 2
|
17天前
|
机器学习/深度学习 调度 计算机视觉
深度学习中的学习率调度:循环学习率、SGDR、1cycle 等方法介绍及实践策略研究
本文探讨了多种学习率调度策略在神经网络训练中的应用,强调了选择合适学习率的重要性。文章介绍了阶梯式衰减、余弦退火、循环学习率等策略,并分析了它们在不同实验设置下的表现。研究表明,循环学习率和SGDR等策略在提高模型性能和加快训练速度方面表现出色,而REX调度则在不同预算条件下表现稳定。这些策略为深度学习实践者提供了实用的指导。
27 2
深度学习中的学习率调度:循环学习率、SGDR、1cycle 等方法介绍及实践策略研究
|
5月前
|
机器学习/深度学习 数据采集 算法
未来研究将深入探索深度学习的应用及数据质量与安全问题
【6月更文挑战第13天】本文探讨了使用Python和机器学习预测股票价格的方法,包括数据收集与预处理(填充缺失值、处理异常值、标准化)、特征选择(技术指标、基本面指标、市场情绪)、模型选择与训练(线性回归、SVM、神经网络等)、模型评估与调优。尽管股票价格受多重因素影响,通过不断优化,可构建预测模型。未来研究将深入探索深度学习的应用及数据质量与安全问题。
60 5
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习中的自适应学习算法研究与应用
在深度学习领域,传统的静态模型在处理动态环境和非平稳数据时面临挑战。本文探讨了自适应学习算法在深度学习中的重要性及其应用。通过分析自适应学习算法在模型参数、损失函数和数据分布上的应用,展示了其在提升模型鲁棒性和泛化能力方面的潜力。具体讨论了几种代表性的自适应学习方法,并探索了它们在现实世界中的应用案例,从而展示了其在处理复杂问题和动态数据中的效果。
197 0
|
21天前
|
机器学习/深度学习 搜索推荐 算法
深度学习-点击率预估-研究论文2024-09-14速读
深度学习-点击率预估-研究论文2024-09-14速读
42 0
|
3月前
|
机器学习/深度学习 算法 PyTorch
PyTorch Lightning:简化深度学习研究与开发
【8月更文第27天】PyTorch Lightning 是一个用于简化 PyTorch 开发流程的轻量级封装库。它的目标是让研究人员和开发者能够更加专注于算法和模型的设计,而不是被训练循环和各种低级细节所困扰。通过使用 PyTorch Lightning,开发者可以更容易地进行实验、调试和复现结果,从而加速研究与开发的过程。
130 1
|
3月前
|
机器学习/深度学习 存储 搜索推荐
Elasticsearch与深度学习框架的集成案例研究
Elasticsearch 是一个强大的搜索引擎和分析引擎,广泛应用于实时数据处理和全文搜索。深度学习框架如 TensorFlow 和 PyTorch 则被用来构建复杂的机器学习模型。本文将探讨如何将 Elasticsearch 与这些深度学习框架集成,以实现高级的数据分析和预测任务。
37 0
|
4月前
|
机器学习/深度学习 人工智能 安全
深度学习中的对抗性样本研究
在深度学习技术飞速发展的今天,对抗性样本作为一项重要的安全议题,引起了研究者们的广泛关注。对抗性样本指的是经过精心设计的、能够误导深度学习模型做出错误判断的输入数据。本文将深入探讨对抗性样本的生成机制、防御策略以及对未来深度学习安全性的影响,同时通过实验数据分析,揭示对抗性攻击对模型性能的具体影响,旨在为深度学习的安全性研究提供理论依据和实践指导。 【7月更文挑战第19天】
60 2
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
基于深度学习的自然语言处理技术研究与进展
基于深度学习的自然语言处理技术研究与进展
99 1
|
6月前
|
机器学习/深度学习 存储 边缘计算
基于深度学习的图像识别优化策略研究
【5月更文挑战第25天】 在当前的人工智能研究领域,图像识别技术因其广泛的应用前景而备受关注。本文针对深度学习模型在处理高维图像数据时所遇到的计算量大、资源消耗高等问题,提出了一种结合模型压缩和知识蒸馏技术的图像识别优化策略。通过深入分析现有深度学习模型的瓶颈,并融合轻量化网络结构设计原则,我们实现了模型性能与效率的平衡。实验结果表明,该优化策略在保证识别准确率的同时,显著降低了模型的复杂度和运行成本,为边缘计算设备上的实时图像识别应用提供了可行的解决方案。

热门文章

最新文章