开发者社区> 【方向】> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

深度学习的挑战

简介: 世界上没有完美无缺的技术,深度学习也是如此。本文着重向我们介绍了深度学习发展的六大障碍!
+关注继续查看

更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud 


深度学习已经成为开发人工智能的主要技术支撑。


大多数知名应用(如语音识别、图像处理和自然语言处理)都是深度学习在驱动。

深度学习算法是通过人工神经网络模仿人类大脑逐渐学习并准确解决给定的问题。但是我们必须注意,深度学习并非完美无缺的,深度学习系统中依然存在很大挑战。

用深度学习领域最著名的学者安德鲁(Andrew Ng)的话说:“我相信深度学习是我们实现AI进步的最佳选择。”

如果你自己思考,你可能会意识到安德鲁的上述声明的力量。从Siris和Cortanas到Google Photos,再到Grammarly Spotify的音乐推荐都是深度学习力量的表现。

这些例子说明深度学习深入我们的生活的时代到来了。

但是,随着技术的巨大进步也出现了巨大的困难和障碍。在这篇文章中,我们将讨论深度学习中有哪些突出挑战。

1.庞大的数据需求

深度学习的训练是指使用大量数据进行的。数据越多,才能确保机器传输的结果是我们想要的。

由于人脑需要大量的学习经验推导信息,所以类似的神经网络需要大量的数据。如果你想要的更强大的模型,你就需要更多的参数调整,更多的参数调整的过程就需要更多的数据。

例如,语音识别将需要多种方言的数据,人口统计。研究人员训练用于学习单一语言的算法就需要TB级数据。这是一个非常耗时的过程,同时需要大量的数据处理能力。 在一定程度上,通过深度学习解决问题的优劣程度取决于数据量的大小。

神经网络的复杂性可以通过参数数量表示。在深层神经网络中,参数可以在数百万,数千万甚至数亿。如果参数的数量级用P来表示,那么训练出一个不错的神经网络所需要的数据就需要达到P*P级。

2.神经网络易过度拟合:

有时,在训练数据集和看不见的数据集所遇到的错误中,可能会出现一个明显的错误,它发生在复杂的模型中,例如相对于观察的数量有太多的参数。一个模型的有效性取决于它的能力在不可见的数据集上表现良好,而不是通过它的训练数据进行评判。


一般来说,模型是通过在一个特定的训练数据集上最大化其性能来进行训练的。因此,模型记住了训练案例,但没有学会如何将新情况和数据集一般化。

3.超参数优化:

l.超参数是前面定义的神经网络参数,这些网络参数对神经网络来说非常重要。通过改变这样的参数,就可以在你的模型上引起很大的变化。   

如果仅仅依赖于默认参数,而不执行超参数优化可能对模型性能产生重大影响。而且,拥有太多的超参数并且手动调节它们而不是通过经过验证的方法进行优化,并不是一个好的想法。

4.高性能硬件:

深度学习需要高性能硬件为深度学习解决方案训练大量数据。为了解决现实世界的问题,机器需要具备足够的处理能力,以此确保更好的效率和较少的时间消耗。为了提高数据处理效率,确保数据科学家切换到多核心,效率更低,时间消耗更少,高性能GPU和类似处理单元就成了我们必备的工具。这些昂贵的处理单元也会消耗大量的电力。


工业级的深度学习系统需要高端数据中心而智能设备如无人机,机器人等其他移动设备则需要小而高效的处理单元。对于现实世界来说,部署深度学习解决方案,就变成了一场代价高昂且耗费能源的事件。

5.神经网络本质上是一个黑匣子

我们知道我们的模型参数,我们把已知的数据以及它们是如何组合在一起的反馈给神经系统网络。但是我们不能理解它们是如何解决一个特定的解决方案的。神经网络本质上就是一个黑匣子,研究人员都很难理解它们如何推断结论。


抽象层次上缺乏推理能力的神经网络的能力使高级认知功能变得困难。同时,它们的操作在很大程度上是看不见的,这使它们在重要的验证流程领域不是很适用。

然而,Murray Shanahan,伦敦帝国理工学院认知机器人教授向他的团队提交了一篇讨论深刻的象征性强化学习的论文,展示了解决上述障碍的进步。

6.缺乏灵活性和多任务处理

深度学习模式,经过训练,可以极大的提高效率并准确解决具体问题。然而从当前存在的情形来看,神经网络体系结构是高度专业化且特定的应用程序域。

Google DeepMind的研究科学家Raia Hadsell总结道:

“世界上没有一种神经网络,可以通过训练同时完成识别物体和图像、玩空间、听音乐。”

我们的大部分系统都在这个规则工作的,他们十分擅长解决一个问题。 即使解决一个非常相似的问题也需要再训练和重新评估。 研究人员正在努力工作开发可以同时进行多任务处理的深度学习模型。

虽然,在使用单任务的神经网络这方面有了一些小小的进步。此外在多任务学习(MTL)方面,还有很大的进步空间。来自多伦多大学的谷歌大脑团队的研究人员发表了一篇关于多模型的论文,一种神经系统同时从视觉和语言的成功中汲取的网络架构,音频网络同时跨越多个领域解决了许多问题,包括图像识别、翻译和语音识别。

深度学习是人工智能的主要研究领域之一,但它肯定不是完美无缺的。而探索新的认知技术领域的研究由于深度学习太火而显得很少,遇到一定的障碍和困难也是很正常,任何技术进步都是如此。未来的问题是“深度学习是否是我们接近真正人工智能的最佳解决方案?”作为一个AI领域的研究人员,我会一直关注于此。

本文由北邮@爱可可-爱生活老师推荐,阿里云云栖社区组织翻译。

文章原标题:《Challenges in Deep Learning

作者:Parth Shrivastava  

译者:乌拉乌拉,审校:袁虎。

文章为简译,更为详细的内容,请查看原文

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

附件下载:https://developer.aliyun.com/topic/download?id=461

相关文章
基于深度学习的小目标检测
目标检测的主要目的是在图像中快速精准地识别定位出预定义类别的目标。而随着深度学习技术的不断发展,检测算法在相应行业大、中目标已达到了不错的成效。鉴于小目标在图像中尺寸较小、特征不全、与图像中背景差异大等特点,基于深度学习的小目标检测算法性能仍需要进一步提升和优化;小目标检测在无人驾驶、医疗诊断、无人机导航等多个领域都有着广泛的需求,因此研究有着很高的应用价值。
131 0
基于深度学习的图像处理技术
信息感知的目的是获取用户感兴趣的信息,为用户各方面的应用提供重要信息来源。信息感知最基本的功能是收集大量的数据,为了从大量数据集中分析和提取出隐含的重要信息,深度学习算法是常用的有效工具。而图像作为信息的重要载体,比起普通数据更能直观的表现出数据的信息特征,随着图像技术的发展,图像经常被用于目标的识别和信息的抽取。
44 0
深度学习介绍
深度学习介绍
44 0
深度学习正则化(一)
深度学习正则化(一)
48 0
深度学习笔记
深度学习笔记
29 0
为什么要用深度学习?
目录 为什么要用深度学习?
779 0
深度学习进修之旅
转型深度学习只需要六个月,本文作者通过自身的经历,为想要转型深度学习的程序猿们提供了一套可行性很高的转型方案。
12593 0
[译] 深度学习的未来
本文讲的是[译] 深度学习的未来,这篇文章改编自我的书 Deep Learning with Python(Manning 出版社)第 9 章第 3 节(译者注:「结论」一章最后一小节)。
1171 0
[译] 深度学习的未来
本文讲的是[译] 深度学习的未来,这篇文章清晰地展现了深度学习本身真正的意义,让我们更透彻地了解它的同时,也明白了它的局限之处,距离着人类层次的 AI 还有着太长的路要走。在文章的最后一部分
1260 0
为什么要用深度学习?
为何深层学习 深层学习开启了人工智能的新时代。不论任何行业都害怕错过这一时代浪潮,因而大批资金和人才争相涌入。但深层学习却以 “黑箱” 而闻名,不仅调参难,训练难,“新型” 网络结构的论文又如雨后春笋般地涌现,使得对所有结构的掌握变成了不现实。
3774 0
+关注
【方向】
欢迎各位对内容方向及质量提需求,我们尽量满足,将国外优质的内容呈现给大家!
706
文章
5
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载