2012-2022: AI革命10周年,Hinton等大佬重拳出击「深度学习撞墙」论

简介: 2012-2022: AI革命10周年,Hinton等大佬重拳出击「深度学习撞墙」论
新智元导读】AI与深度学习如何彻底走出寒冬,终成「显学」?一切始于2012年AlexNet那篇论文,10年过去,今天的AI怎么样了?


2012年9月,一篇题为「用深度卷积神经网络进行ImageNet图像分类」的论文,让此前沉寂多年的人工智能领域热度骤起。

文中提出的AlexNet深度卷积神经网络,在当年的ImageNet分类任务比赛ILSVRC-2012上,以碾压之势轻松夺冠,大幅刷新了此前的SOTA。

说是碾压,毫不夸张。AlexNet一举将 top-5 错误率降低到了15.3%,比身后的第二名(26.2%)足足高出10多个百分点,堪称跃进式提升。

ImageNet是一个大型视觉数据集,用于视觉目标识别软件研究。该数据集由斯坦福大学计算机专家李飞飞团队创建于2007年。

直至目前,该数据集仍然是深度学习领域中图像分类、检测、定位的最常用数据集之一。

AlexNet摧枯拉朽般的大胜,让研究人员惊叹于大型卷积深度神经网络架构的神奇威力,这篇论文也成为深度学习和人工智能自「AI寒冬」后重新成为热门领域的重要里程碑。

后来人们所讲的「深度学习革命」,也借此文以发端,直到十年后的今天。

过去十年来,在AI领域诞生了无数成功的网络模型——从云计算、云存储、机器翻译、到AI画家和自动驾驶,AI技术遍地开花。

技术突破带来的是AI产业规模的升级和资本的青睐: 据统计,全球AI领域创业投资从2011年的6.7亿美元增长到2020年的360亿美元,在2021年再翻一番,达到770亿美元。

近日,这篇Alexnet论文的作者之一,2018年图灵奖得主Geoffrey Hinton、ImageNet创始人之一、斯坦福大学教授李飞飞、以及另一位AI大佬Yann LeCun一起回顾了过去10年来方兴未艾的AI革命。

在采访中,Hinton 对未来机器人技术的前景大为看好。

「机器人技术的巨大进步将诞生更灵巧、敏捷、顺从的机器人,可以像我们一样更高效、更温和地完成任务」,他说。

LeCun认为,过去阻碍AI发展的障碍,正在以令人难以置信的速度被清除。仅在过去的四、五年里,进展是惊人的。

李飞飞也表示,自2012年以来,深度学习的发展堪称「一场惊人的革命,令人做梦都没想到」。

实际上,作为深度学习先驱的Hinton和LeCun等人一直相信,深度学习革命即将到来。

早在1986年,Hinton等人发表的论文就让训练多层神经网络的「反向传播算法」广为人知。

「当时我们很多人都相信这一定是人工智能的未来。我们成功地证明了我们一直相信的东西是正确的。」

1989年,LeCun率先使用了反向传播和卷积神经网络,他也同意Hinton的看法。

他说:「我毫不怀疑,最终我们在上世纪80-90年代开发的技术将被采用」。

李飞飞也一直相信自己多年来的假设,即通过正确的算法,ImageNet数据集是推进计算机视觉和深度学习研究的关键。

她说:「这是对机器学习的一种非常创新的思考方式,也是一种高风险的举动,但我们从科学上相信,我们的假设是正确的。」

10年AI热潮 ,论战与批评


巨大的成功往往会引来批评者。而且有强烈的声音指出深度学习的局限性,说它的成功范围极其狭窄。

他们还坚持认为,神经网络造成的炒作只是如此,并没有根本性突破:而所谓的通用人工智能(AGI)更是空中楼阁,在我们的有生之年,甚至在可预见的未来内,AI在推理能力上永远不可能接近人类。

Marcus是纽约大学名誉教授,也是Robust.AI的创始人兼首席执行官。作为和LeCun战了多年的老对手,他一直是深度学习的主要批评者。

早在2012年11月,他就为《纽约客》写了一篇文章。质疑「深度学习是AI革命」的说法。而当时距离AlexNet在Imagenet大赛上大杀四方仅过去了几个月。

Marcus文中说:「套用一个古老的寓言,Hinton造了一个更好的梯子,但更好的梯子并不一定能把你带到月球上。」

去年3月,他发表了一篇关于深度学习「碰壁」的文章,说尽管深度学习确实取得了进展,但「我们对世界的了解,仍然停留在对常识知识和推理上」。

Marcus表示,早在2016年,Hinton就说过,不用再培养放射科医生了。如今几年过去,AI并没有取代任何一位放射科医生。问题出在哪儿?

近年来,AI在大数据、大模型的深度学习之路上一路狂奔,但很多核心问题依然没有解决,比如如何让模型具备真正的理解能力。

Hinton和LeCun都反驳了Marcus的批评。

Hinton说,尽管他过去也承认深度学习的能力范围是有限的。「(深度学习)并没有碰壁——如果你看看最近的进展,就会发现它是惊人的」。

LeCun补充道:「没有撞墙这回事。是有一些障碍需要清除,虽然解决这些障碍的办法还不完全清楚。但我完全没有看到深度学习进展放缓的迹象……如果深度学习进展有迹象的话,那也是进展正在加速。」

除了Marcus之外,华盛顿大学计算机语言学教授Emily Bender也是「深度学习泡沫」的著名批评者之一。她表示,她不认为如今的NLP和CV模型能在「大家所说的AI和AGI方面取得实质性进展」。

Bender并不信服他们的说法。她通过电子邮件告诉VentureBeat:「从某种程度上说,他们只是在讨论基于ImageNet等基准提供的标签,对图像进行分类的进展,2012年后,这方面似乎有了一些质的突破。如果他们谈论的是比这更宏大的东西,那都是炒作。」

无论是乐观展望,还是犀利批评,我们可以从过去十年的深度学习进展中学到什么?这种已经改变世界的革命性技术,未来又会怎样呢?

下一个十年,更多的人仍然拭目以待。

参考资料:https://venturebeat.com/ai/10-years-on-ai-pioneers-hinton-lecun-li-say-deep-learning-revolution-will-continue/

相关文章
|
2月前
|
机器学习/深度学习 人工智能 安全
探索AI的未来:从机器学习到深度学习
【10月更文挑战第28天】本文将带你走进AI的世界,从机器学习的基本概念到深度学习的复杂应用,我们将一起探索AI的未来。你将了解到AI如何改变我们的生活,以及它在未来可能带来的影响。无论你是AI专家还是初学者,这篇文章都将为你提供新的视角和思考。让我们一起探索AI的奥秘,看看它将如何塑造我们的未来。
93 3
|
1月前
|
存储 人工智能 运维
AI导购革命:揭秘主动式智能导购AI助手的构建之道
本文基于《主动式智能导购AI助手构建》解决方案的实际部署体验,从引导与文档帮助、解决方案原理与架构理解、百炼大模型及函数计算应用明晰度、生产环境步骤指导四个方面进行了详细评估。指出尽管该方案具有创新性和实用性,但在文档详尽性、技术细节解释及生产环境适应性等方面仍有待提升。通过进一步优化,可增强解决方案的可用性和用户满意度。
114 31
|
30天前
|
人工智能 自动驾驶 安全
“第四次工业革命”-AI革命
“AI变革”被誉为“第四次工业革命”。中国在AI领域持续发力,占亚太地区AI支出的五成,预计2023年市场规模将达到147.5亿美元,约占全球市场的十分之一。IDC预测,中国生成式AI市场年复合增长率将达86.2%。国内企业如百度、阿里、清华等在AI技术研发和应用方面取得显著进展,推动了无人驾驶、送餐机器人、无人快递车等应用场景的发展。尽管AI带来了降本增效,但也引发了就业和社会压力。总体而言,中国在AI领域的投入和发展势头强劲,未来前景广阔。
74 0
“第四次工业革命”-AI革命
|
1月前
|
人工智能 自然语言处理 搜索推荐
AI 赋能:开启内容生产效率革命的密钥》
在数字化时代,AI技术正成为提高内容生产效率的关键工具。本文探讨了AI在文章写作、文案创作、翻译、图像识别与生成及数据分析等方面的应用,分析了其提高效率的方式、带来的优势与挑战,并通过新闻媒体、营销、教育等行业案例,展望了AI在内容生产领域的未来。
|
1月前
|
机器学习/深度学习 人工智能 算法
深度学习在图像识别中的革命性应用####
本文不采用传统摘要形式,直接以一段引人入胜的事实开头:想象一下,一台机器能够比人类更快速、更准确地识别出图片中的对象,这不再是科幻电影的情节,而是深度学习技术在图像识别领域带来的现实变革。通过构建复杂的神经网络模型,特别是卷积神经网络(CNN),计算机能够从海量数据中学习到丰富的视觉特征,从而实现对图像内容的高效理解和分类。本文将深入探讨深度学习如何改变图像识别的游戏规则,以及这一技术背后的原理、关键挑战与未来趋势。 ####
67 1
|
1月前
|
机器学习/深度学习 人工智能 编解码
深度学习在图像识别中的革命性进展###
近年来,深度学习技术在图像识别领域取得了显著成就,极大地推动了人工智能的发展。本文探讨了深度学习模型如何通过模拟人类视觉系统来提高图像识别的准确性和效率,并分析了几种主流的深度学习架构及其在实际应用中的表现。此外,还讨论了当前面临的挑战及未来可能的发展方向。 ###
59 4
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
揭秘AI:深度学习的奥秘与实践
本文将深入浅出地探讨人工智能中的一个重要分支——深度学习。我们将从基础概念出发,逐步揭示深度学习的原理和工作机制。通过生动的比喻和实际代码示例,本文旨在帮助初学者理解并应用深度学习技术,开启AI之旅。
|
2月前
|
机器学习/深度学习 人工智能 算法
深度学习在图像识别中的革命性进展####
近年来,深度学习技术已彻底革新了图像识别领域,实现了从量变到质变的飞跃。本文旨在探讨深度学习如何推动图像识别技术的边界拓展,通过分析其核心算法的演变、关键突破及未来趋势,揭示这一领域快速发展背后的关键因素。不同于传统摘要形式,本文将以故事化手法,简述深度学习与图像识别交织发展的历程,展现技术背后的创新火花与挑战应对。 ####
|
2月前
|
机器学习/深度学习 人工智能 算法
【AI系统】AI芯片驱动智能革命
本课程深入解析AI模型设计演进,探讨AI算法如何影响AI芯片设计,涵盖CPU、GPU、FPGA、ASIC等主流AI芯片,旨在全面理解AI系统体系,适应后摩尔定律时代的技术挑战。
55 5
|
2月前
|
机器学习/深度学习 人工智能 监控
探索深度学习在图像识别中的革命性进展
本文旨在深入探讨深度学习技术在图像识别领域的革命性进展,特别是卷积神经网络(CNN)如何推动这一领域的快速发展。通过分析CNN的基本结构、工作原理及其在图像识别任务中的应用,本文揭示了深度学习如何克服传统方法的局限性,实现前所未有的识别精度。同时,文章还讨论了当前面临的挑战和未来发展趋势,为读者提供了一个全面而深入的视角。