更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud
深度学习已经成为开发人工智能的主要技术支撑。
大多数知名应用(如语音识别、图像处理和自然语言处理)都是深度学习在驱动。
深度学习算法是通过人工神经网络模仿人类大脑逐渐学习并准确解决给定的问题。但是我们必须注意,深度学习并非完美无缺的,深度学习系统中依然存在很大挑战。
用深度学习领域最著名的学者安德鲁(Andrew Ng)的话说:“我相信深度学习是我们实现AI进步的最佳选择。”
如果你自己思考,你可能会意识到安德鲁的上述声明的力量。从Siris和Cortanas到Google Photos,再到Grammarly Spotify的音乐推荐都是深度学习力量的表现。
这些例子说明深度学习深入我们的生活的时代到来了。
但是,随着技术的巨大进步也出现了巨大的困难和障碍。在这篇文章中,我们将讨论深度学习中有哪些突出挑战。
1.庞大的数据需求
深度学习的训练是指使用大量数据进行的。数据越多,才能确保机器传输的结果是我们想要的。
由于人脑需要大量的学习经验推导信息,所以类似的神经网络需要大量的数据。如果你想要的更强大的模型,你就需要更多的参数调整,更多的参数调整的过程就需要更多的数据。
例如,语音识别将需要多种方言的数据,人口统计。研究人员训练用于学习单一语言的算法就需要TB级数据。这是一个非常耗时的过程,同时需要大量的数据处理能力。 在一定程度上,通过深度学习解决问题的优劣程度取决于数据量的大小。
神经网络的复杂性可以通过参数数量表示。在深层神经网络中,参数可以在数百万,数千万甚至数亿。如果参数的数量级用P来表示,那么训练出一个不错的神经网络所需要的数据就需要达到P*P级。
2.神经网络易过度拟合:
有时,在训练数据集和看不见的数据集所遇到的错误中,可能会出现一个明显的错误,它发生在复杂的模型中,例如相对于观察的数量有太多的参数。一个模型的有效性取决于它的能力在不可见的数据集上表现良好,而不是通过它的训练数据进行评判。
一般来说,模型是通过在一个特定的训练数据集上最大化其性能来进行训练的。因此,模型记住了训练案例,但没有学会如何将新情况和数据集一般化。
3.超参数优化:
l.超参数是前面定义的神经网络参数,这些网络参数对神经网络来说非常重要。通过改变这样的参数,就可以在你的模型上引起很大的变化。
如果仅仅依赖于默认参数,而不执行超参数优化可能对模型性能产生重大影响。而且,拥有太多的超参数并且手动调节它们而不是通过经过验证的方法进行优化,并不是一个好的想法。
4.高性能硬件:
深度学习需要高性能硬件为深度学习解决方案训练大量数据。为了解决现实世界的问题,机器需要具备足够的处理能力,以此确保更好的效率和较少的时间消耗。为了提高数据处理效率,确保数据科学家切换到多核心,效率更低,时间消耗更少,高性能GPU和类似处理单元就成了我们必备的工具。这些昂贵的处理单元也会消耗大量的电力。
工业级的深度学习系统需要高端数据中心而智能设备如无人机,机器人等其他移动设备则需要小而高效的处理单元。对于现实世界来说,部署深度学习解决方案,就变成了一场代价高昂且耗费能源的事件。
5.神经网络本质上是一个黑匣子
我们知道我们的模型参数,我们把已知的数据以及它们是如何组合在一起的反馈给神经系统网络。但是我们不能理解它们是如何解决一个特定的解决方案的。神经网络本质上就是一个黑匣子,研究人员都很难理解它们如何推断结论。
抽象层次上缺乏推理能力的神经网络的能力使高级认知功能变得困难。同时,它们的操作在很大程度上是看不见的,这使它们在重要的验证流程领域不是很适用。
然而,Murray Shanahan,伦敦帝国理工学院认知机器人教授向他的团队提交了一篇讨论深刻的象征性强化学习的论文,展示了解决上述障碍的进步。
6.缺乏灵活性和多任务处理
深度学习模式,经过训练,可以极大的提高效率并准确解决具体问题。然而从当前存在的情形来看,神经网络体系结构是高度专业化且特定的应用程序域。
Google DeepMind的研究科学家Raia Hadsell总结道:
“世界上没有一种神经网络,可以通过训练同时完成识别物体和图像、玩空间、听音乐。”
我们的大部分系统都在这个规则工作的,他们十分擅长解决一个问题。 即使解决一个非常相似的问题也需要再训练和重新评估。 研究人员正在努力工作开发可以同时进行多任务处理的深度学习模型。
虽然,在使用单任务的神经网络这方面有了一些小小的进步。此外在多任务学习(MTL)方面,还有很大的进步空间。来自多伦多大学的谷歌大脑团队的研究人员发表了一篇关于多模型的论文,一种神经系统同时从视觉和语言的成功中汲取的网络架构,音频网络同时跨越多个领域解决了许多问题,包括图像识别、翻译和语音识别。
深度学习是人工智能的主要研究领域之一,但它肯定不是完美无缺的。而探索新的认知技术领域的研究由于深度学习太火而显得很少,遇到一定的障碍和困难也是很正常,任何技术进步都是如此。未来的问题是“深度学习是否是我们接近真正人工智能的最佳解决方案?”作为一个AI领域的研究人员,我会一直关注于此。
本文由北邮@爱可可-爱生活老师推荐,阿里云云栖社区组织翻译。
文章原标题:《Challenges in Deep Learning》
作者:Parth Shrivastava
译者:乌拉乌拉,审校:袁虎。
文章为简译,更为详细的内容,请查看原文