深度学习的挑战

简介: 世界上没有完美无缺的技术,深度学习也是如此。本文着重向我们介绍了深度学习发展的六大障碍!

更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud 


深度学习已经成为开发人工智能的主要技术支撑。


大多数知名应用(如语音识别、图像处理和自然语言处理)都是深度学习在驱动。

深度学习算法是通过人工神经网络模仿人类大脑逐渐学习并准确解决给定的问题。但是我们必须注意,深度学习并非完美无缺的,深度学习系统中依然存在很大挑战。

用深度学习领域最著名的学者安德鲁(Andrew Ng)的话说:“我相信深度学习是我们实现AI进步的最佳选择。”

如果你自己思考,你可能会意识到安德鲁的上述声明的力量。从Siris和Cortanas到Google Photos,再到Grammarly Spotify的音乐推荐都是深度学习力量的表现。

这些例子说明深度学习深入我们的生活的时代到来了。

但是,随着技术的巨大进步也出现了巨大的困难和障碍。在这篇文章中,我们将讨论深度学习中有哪些突出挑战。

1.庞大的数据需求

深度学习的训练是指使用大量数据进行的。数据越多,才能确保机器传输的结果是我们想要的。

由于人脑需要大量的学习经验推导信息,所以类似的神经网络需要大量的数据。如果你想要的更强大的模型,你就需要更多的参数调整,更多的参数调整的过程就需要更多的数据。

例如,语音识别将需要多种方言的数据,人口统计。研究人员训练用于学习单一语言的算法就需要TB级数据。这是一个非常耗时的过程,同时需要大量的数据处理能力。 在一定程度上,通过深度学习解决问题的优劣程度取决于数据量的大小。

神经网络的复杂性可以通过参数数量表示。在深层神经网络中,参数可以在数百万,数千万甚至数亿。如果参数的数量级用P来表示,那么训练出一个不错的神经网络所需要的数据就需要达到P*P级。

2.神经网络易过度拟合:

有时,在训练数据集和看不见的数据集所遇到的错误中,可能会出现一个明显的错误,它发生在复杂的模型中,例如相对于观察的数量有太多的参数。一个模型的有效性取决于它的能力在不可见的数据集上表现良好,而不是通过它的训练数据进行评判。


一般来说,模型是通过在一个特定的训练数据集上最大化其性能来进行训练的。因此,模型记住了训练案例,但没有学会如何将新情况和数据集一般化。

3.超参数优化:

l.超参数是前面定义的神经网络参数,这些网络参数对神经网络来说非常重要。通过改变这样的参数,就可以在你的模型上引起很大的变化。   

如果仅仅依赖于默认参数,而不执行超参数优化可能对模型性能产生重大影响。而且,拥有太多的超参数并且手动调节它们而不是通过经过验证的方法进行优化,并不是一个好的想法。

4.高性能硬件:

深度学习需要高性能硬件为深度学习解决方案训练大量数据。为了解决现实世界的问题,机器需要具备足够的处理能力,以此确保更好的效率和较少的时间消耗。为了提高数据处理效率,确保数据科学家切换到多核心,效率更低,时间消耗更少,高性能GPU和类似处理单元就成了我们必备的工具。这些昂贵的处理单元也会消耗大量的电力。


工业级的深度学习系统需要高端数据中心而智能设备如无人机,机器人等其他移动设备则需要小而高效的处理单元。对于现实世界来说,部署深度学习解决方案,就变成了一场代价高昂且耗费能源的事件。

5.神经网络本质上是一个黑匣子

我们知道我们的模型参数,我们把已知的数据以及它们是如何组合在一起的反馈给神经系统网络。但是我们不能理解它们是如何解决一个特定的解决方案的。神经网络本质上就是一个黑匣子,研究人员都很难理解它们如何推断结论。


抽象层次上缺乏推理能力的神经网络的能力使高级认知功能变得困难。同时,它们的操作在很大程度上是看不见的,这使它们在重要的验证流程领域不是很适用。

然而,Murray Shanahan,伦敦帝国理工学院认知机器人教授向他的团队提交了一篇讨论深刻的象征性强化学习的论文,展示了解决上述障碍的进步。

6.缺乏灵活性和多任务处理

深度学习模式,经过训练,可以极大的提高效率并准确解决具体问题。然而从当前存在的情形来看,神经网络体系结构是高度专业化且特定的应用程序域。

Google DeepMind的研究科学家Raia Hadsell总结道:

“世界上没有一种神经网络,可以通过训练同时完成识别物体和图像、玩空间、听音乐。”

我们的大部分系统都在这个规则工作的,他们十分擅长解决一个问题。 即使解决一个非常相似的问题也需要再训练和重新评估。 研究人员正在努力工作开发可以同时进行多任务处理的深度学习模型。

虽然,在使用单任务的神经网络这方面有了一些小小的进步。此外在多任务学习(MTL)方面,还有很大的进步空间。来自多伦多大学的谷歌大脑团队的研究人员发表了一篇关于多模型的论文,一种神经系统同时从视觉和语言的成功中汲取的网络架构,音频网络同时跨越多个领域解决了许多问题,包括图像识别、翻译和语音识别。

深度学习是人工智能的主要研究领域之一,但它肯定不是完美无缺的。而探索新的认知技术领域的研究由于深度学习太火而显得很少,遇到一定的障碍和困难也是很正常,任何技术进步都是如此。未来的问题是“深度学习是否是我们接近真正人工智能的最佳解决方案?”作为一个AI领域的研究人员,我会一直关注于此。

本文由北邮@爱可可-爱生活老师推荐,阿里云云栖社区组织翻译。

文章原标题:《Challenges in Deep Learning

作者:Parth Shrivastava  

译者:乌拉乌拉,审校:袁虎。

文章为简译,更为详细的内容,请查看原文

相关文章
|
2月前
|
机器学习/深度学习 监控 安全
深度学习在图像识别领域的最新进展与挑战
【10月更文挑战第1天】深度学习在图像识别领域的最新进展与挑战
|
5月前
|
机器学习/深度学习 传感器 人工智能
探索深度学习在图像识别中的应用及其挑战
在人工智能的众多领域中,深度学习技术以其强大的数据处理和学习能力在图像识别任务上取得了显著成就。通过构建复杂的神经网络模型,深度学习能够自动提取高维数据中的关键特征,极大地提高了识别的准确性。然而,技术的迅速发展也带来了新的挑战,如模型的泛化能力、计算资源的需求以及对抗样本的防御等。本文将深入分析深度学习在图像识别领域的应用现状,探讨其面临的主要技术难题及未来发展趋势。
|
1月前
|
机器学习/深度学习 监控 安全
深度学习在图像识别中的应用与挑战
【10月更文挑战第42天】本文深入探讨了深度学习技术在图像识别领域的应用及其面临的挑战。通过分析深度学习模型的工作原理和实际案例,揭示了其在处理复杂图像数据方面的强大能力。同时,指出了当前技术发展的局限性和未来可能的改进方向,旨在为读者提供一个关于深度学习在图像识别中应用的全面视角。
33 6
|
1月前
|
机器学习/深度学习 人工智能 算法
探索深度学习在图像识别中的应用与挑战
【10月更文挑战第28天】 本文深入探讨了深度学习技术,特别是卷积神经网络(CNN)在图像识别领域的应用及其面临的主要挑战。通过分析CNN的工作原理和架构设计,揭示了其在处理大规模图像数据时的优势。同时,本文也讨论了当前深度学习模型在图像识别任务中遇到的一些关键问题,如过拟合、数据不平衡以及计算资源的需求等,并提出了相应的解决策略。此外,文章还展望了未来深度学习技术在图像识别领域的发展方向,包括模型优化、算法创新及应用场景的拓展。
47 1
|
4月前
|
机器学习/深度学习 人工智能 自动驾驶
深度学习在图像识别中的应用与挑战深度学习在图像识别中的应用与挑战
【8月更文挑战第30天】本文深入探讨了深度学习技术在图像识别领域的应用,并分析了当前面临的主要挑战。通过具体案例,揭示了深度学习如何革新图像处理和分析的方式,同时指出了数据偏差、模型泛化能力等关键问题,为未来研究提供了方向。
|
7月前
|
IDE Java 数据库连接
IntelliJ IDEA安装使用教程——社区免费版——附中文插件安装
IntelliJ IDEA安装使用教程——社区免费版——附中文插件安装
1199 0
|
1月前
|
安全 搜索推荐 大数据
大数据与智慧城市:数据驱动的城市管理
【10月更文挑战第31天】在信息技术飞速发展的今天,大数据成为推动智慧城市转型的核心驱动力。本文探讨了大数据在智慧交通、环保、安防、医疗和政务等领域的应用,揭示了数据驱动的城市管理带来的深刻变革,同时分析了面临的数据安全、隐私保护和数据孤岛等挑战,并展望了大数据在智慧城市建设中的未来前景。
|
Java fastjson API
Springboot 整合 xxljob 动态API调度任务(进阶篇)
Springboot 整合 xxljob 动态API调度任务(进阶篇)
5064 0
Springboot 整合 xxljob 动态API调度任务(进阶篇)
|
Unix Linux 数据安全/隐私保护
超好用!5款完全免费、支持全平台的笔记软件
好记忆不如一个烂笔头,对于这句话,我深以为然。 我觉得养成做笔记的习惯,对于工作和学习都能够提供很大的帮助。
超好用!5款完全免费、支持全平台的笔记软件
|
7月前
|
XML 人工智能 数据安全/隐私保护
【Python+微信】【企业微信开发入坑指北】1. 数据链路打通:接收用户消息处理并回复
【Python+微信】【企业微信开发入坑指北】1. 数据链路打通:接收用户消息处理并回复
117 0