马库斯再批深度学习:20年毫无进展,无法处理语言复杂性

简介:

Gary Marcus是纽约大学心理学与神经科学教授,但在AI领域,他更知名的是一直高调参与人工智能辩论。

Marcus称自己是“AI contrarian”。什么是“contrarian”?就是专门反对或批评流行观点的人。在AI领域,流行观点就是“深度学习”。

今年初,Marcus撰文批判深度学习,与Yann Lecun、AAAI前主席Thomas Dietterich等一众AI研究者展开激辩。

在批判深度学习的文章中,Marcus概括了深度学习的十大挑战,直言深度学习本身虽然有用,但它不可能实现通用人工智能。他建议把深度学习视为“一种非普遍的解决方法,而只是一种工具。”

他说:“相比纯粹的深度学习,我呼吁混合模型,不仅包括深度学习的监督形式,还包括其他技术,例如符号处理(symbol-manipulation),以及无监督学习(它本身也可能被重新概念化)。我也敦促社区考虑将更多的内在结构纳入AI系统。”

近日,Marcus在medium上发表文章《Bengio vs Marcus,以及神经网络语言模型的过去、现在和未来》 ,在这篇文章里,Marcus回应了Bengio实验室最近关于“当前的深度学习技术不足以应对自然语言的复杂性”的研究,认为该研究与他的观点不谋而合。

新智元对该文章编译如下:

过去

长期以来,很多研究人员担心神经网络是否能够有效地泛化(generalize),以捕捉语言的丰富性。这一直是我的工作的一个主题,从20世纪90年代以来就是如此。在我之前,认知科学领域的Fodor,Pylyshyn,Pinker以及Prince等人1988年就提出了非常类似的观点。Brenden Lake和他的合著者在今年早些时候也提出了类似的观点。

我在今年一月写了一篇关于这个话题的文章:

当可用的训练数据量有限时,或者当测试集与训练集的区别很大时,或者当示例空间非常大且充满新示例时,深度学习系统的表现就不那么好了。鉴于现实世界的局限性,有些问题根本不能被视为分类问题。比如说,开放式的自然语言理解就不应被认为是两个大型有限句子集间的映射,而是一个潜在的无限的输入句子范围和一个同样大的含义范围的映射,而且这里面很多是以前从来没有遇到过的。

现在

最近,Yoshua Bengio和他实验室的研究人员就写了一篇论文,从神经网络社区内部认同了认知科学界的一群外人(包括我自己)长期以来的观点:当前的深入学习技术实际上无法处理语言的复杂性。

这篇论文题为“BabyAI: First Steps Towards Grounded Language Learning With a Human In the Loop”,论文摘要里写道:

我们提出了强有力的证据,表明当前的深度学习方法在学习一门具有构式特征(compositional properties)的语言时,缺乏足够的样本效率。

0eb6b2b3f3aa11674f5f1fbab8827e65e3c95da7

这是一个非常普遍的问题,然而之前的文献完全没有讨论过。

无论如何,我很高兴Bengio的实验室跟我一直以来的观点是一致的,如我在Twitter上说:

关于深度学习及其局限性的大新闻:Yoshua Bengio的实验室证实了Marcus在2001年和2018年得出的一个关键结论:深度学习在数据处理方面不够有效,无法应对语言的构式本质。

论文地址如下:arxiv.org/abs/1810.08272

我的言论经常引起深度学习界许多人的反感。但Bengio回复的一条Facebook帖子引起了我的注意,他说:

这里的结论似乎有些迷惑性。根据我们的实验,我们是说目前的DL+RL在学习理解构式语言所需的样本复杂性方面还不能令人满意。但这与Gary的结论大不相同,因为我们相信我们可以继续取得进步,并在现有的深度学习和强化学习的科学基础上进行扩展。Gary明确地认为“深度学习的数据效率不足以处理语言的构式本质”,而我们认为当前的DL技术还可以增强,可以更好地应付的构式,这是系统泛化所必须的。这正是我们正在进行的研究,可以参考我的论文“The Consciousness Prior”。(https://arxiv.org/abs/1709.08568)

实际上,Bengio的意思是:我们还没有到达那个技术水平。

也许是这个意思。话又说回来,也许不是这个意思。也许深度学习就是永远无法让我们达成目标。我们至少需要考虑这种可能性。

20年前,我首次提出了这个观点——从反向传播工作的方式出发提的。在那时,出现了很多关于未知机制和未来成功的承诺。

这些承诺至今仍未兑现——20年过去了。投入进这些研究的资金达数十亿美元,而深度学习在语义合成性(compositionality)方面没有取得任何显著的进展。

在过去20年里唯一真正改变的是,神经网络社区终于开始注意到这个问题了。

未来

Bengio和我在很多方面都有共识。我们都认为现有的模型不会取得成功。我们都同意深度学习必须增强(augmented)。

然而问题是,增强是什么呢。

Bengio可以自由地阐述他的观点。

我的观点与我过去20年来的预测毫无二致:深度学习必须增强,借鉴经典符号系统的一些操作,也就是说我们需要混合模,充分利用最好的经典AI(允许显式地表示阶级性结构和抽象的规则),并将其与深度学习的优势相结合。

许多(不是所有)神经网络的拥护者都试图避免在他们的网络中添加这样的东西。这并不是不可能的;这是普遍观念的问题。当然,仅靠深度学习目前还无法解决这个问题。也许是时候尝试别的方法了。

我不认为深度学习无法在自然理解方面发挥作用,只是我认为深度学习本身无法成功。

我的预测不变:如果没有固有的组合性工具来表示规则和结构化表示,语言理解的神经网络模型仍然几乎无法取得进展。


原文发布时间为:2018-10-31

本文作者:Gary Marcus  编辑:肖琴

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:马库斯再批深度学习:20年毫无进展,无法处理语言复杂性

相关文章
|
20天前
|
机器学习/深度学习 存储 自然语言处理
【NLP自然语言处理】探索注意力机制:解锁深度学习的语言理解新篇章(上)
【NLP自然语言处理】探索注意力机制:解锁深度学习的语言理解新篇章(上)
|
22天前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习之人类水平的语言推理
基于深度学习的人类水平的语言推理,是当前自然语言处理(NLP)和人工智能领域的重要研究方向之一。语言推理的核心在于理解语言中蕴含的复杂语义和逻辑关系,并根据上下文进行推断。
22 3
|
20天前
|
机器学习/深度学习 存储 自然语言处理
【NLP自然语言处理】探索注意力机制:解锁深度学习的语言理解新篇章(下)
【NLP自然语言处理】探索注意力机制:解锁深度学习的语言理解新篇章(下)
【NLP自然语言处理】探索注意力机制:解锁深度学习的语言理解新篇章(下)
|
6月前
|
机器学习/深度学习 传感器 编解码
探索深度学习在图像识别中的应用进展
【5月更文挑战第29天】 随着人工智能领域的迅猛发展,深度学习技术已成为推动图像识别前进的核心动力。本文旨在探讨深度学习在图像识别领域内的应用进展,并分析其对相关行业的影响。文中首先概述了深度学习的基本原理和关键技术,随后详细阐述了卷积神经网络(CNN)在图像分类、目标检测及语义分割中的创新应用。通过精选案例,展示了深度学习如何提升图像处理的准确性与效率。最后,文章讨论了目前面临的挑战及未来发展趋势,为该领域的研究者和实践者提供参考。
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习与自然语言处理的融合:重塑语言理解的未来
【8月更文挑战第5天】在自然语言处理(NLP)领域,深度学习技术引发了一场革命,极大提升了语言理解与生成能力。本文探讨深度学习与NLP的融合现状、关键技术如RNN、LSTM、GRU及Transformer模型,预训练语言模型如BERT和GPT的作用,以及迁移学习的应用。这些技术已在机器翻译、文本分类、智能客服等多个场景取得显著成果,并展望未来模型效率、可解释性、跨模态融合及个性化服务等发展趋势。
|
4月前
|
机器学习/深度学习 自然语言处理 搜索推荐
深度学习之语言生成
基于深度学习的语言生成(NLG, Natural Language Generation)是一种利用深度学习模型生成自然语言文本的技术。它在智能写作、自动摘要、对话系统、机器翻译等领域有广泛应用。
76 5
|
5月前
|
机器学习/深度学习 自然语言处理 算法
深度学习在自然语言处理中的进展与应用
本文探讨了深度学习技术在自然语言处理领域的最新进展和应用。通过分析深度学习模型的发展历程及其在文本分类、情感分析、语义理解等任务中的成功案例,展示了这些技术如何推动了自然语言处理的前沿应用。同时,文章还讨论了当前技术面临的挑战以及未来发展的趋势。
113 11
|
4月前
|
机器学习/深度学习 自然语言处理 算法
深度学习在语音识别中的进展
【7月更文挑战第4天】深度学习在语音识别领域的应用极大地提升了语音识别的准确率和速度,为人工智能技术的发展注入了新的活力。随着技术的不断进步和研究的深入,我们有理由相信,语音识别技术将在更广泛的领域中得到应用和推广,为人类的生活和工作带来更多便利。
|
4月前
|
机器学习/深度学习 存储 自然语言处理
使用Python实现深度学习模型:语言翻译与多语种处理
【7月更文挑战第21天】 使用Python实现深度学习模型:语言翻译与多语种处理
141 0
|
5月前
|
机器学习/深度学习 编解码 算法
深度学习在图像识别领域的革命性进展
【6月更文挑战第19天】本文深入探讨了深度学习技术如何彻底改变了图像识别领域,从基础的卷积神经网络(CNN)到复杂的生成对抗网络(GAN),深度学习模型不仅提高了识别准确率,还拓展了应用范围。文章将介绍深度学习模型的基本结构、优化算法和损失函数,并通过案例分析展示其在图像识别中的实际应用。此外,还将讨论深度学习面临的挑战和未来的发展方向。