深度学习的挑战

简介: 世界上没有完美无缺的技术,深度学习也是如此。本文着重向我们介绍了深度学习发展的六大障碍!

更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud 


深度学习已经成为开发人工智能的主要技术支撑。


大多数知名应用(如语音识别、图像处理和自然语言处理)都是深度学习在驱动。

深度学习算法是通过人工神经网络模仿人类大脑逐渐学习并准确解决给定的问题。但是我们必须注意,深度学习并非完美无缺的,深度学习系统中依然存在很大挑战。

用深度学习领域最著名的学者安德鲁(Andrew Ng)的话说:“我相信深度学习是我们实现AI进步的最佳选择。”

如果你自己思考,你可能会意识到安德鲁的上述声明的力量。从Siris和Cortanas到Google Photos,再到Grammarly Spotify的音乐推荐都是深度学习力量的表现。

这些例子说明深度学习深入我们的生活的时代到来了。

但是,随着技术的巨大进步也出现了巨大的困难和障碍。在这篇文章中,我们将讨论深度学习中有哪些突出挑战。

1.庞大的数据需求

深度学习的训练是指使用大量数据进行的。数据越多,才能确保机器传输的结果是我们想要的。

由于人脑需要大量的学习经验推导信息,所以类似的神经网络需要大量的数据。如果你想要的更强大的模型,你就需要更多的参数调整,更多的参数调整的过程就需要更多的数据。

例如,语音识别将需要多种方言的数据,人口统计。研究人员训练用于学习单一语言的算法就需要TB级数据。这是一个非常耗时的过程,同时需要大量的数据处理能力。 在一定程度上,通过深度学习解决问题的优劣程度取决于数据量的大小。

神经网络的复杂性可以通过参数数量表示。在深层神经网络中,参数可以在数百万,数千万甚至数亿。如果参数的数量级用P来表示,那么训练出一个不错的神经网络所需要的数据就需要达到P*P级。

2.神经网络易过度拟合:

有时,在训练数据集和看不见的数据集所遇到的错误中,可能会出现一个明显的错误,它发生在复杂的模型中,例如相对于观察的数量有太多的参数。一个模型的有效性取决于它的能力在不可见的数据集上表现良好,而不是通过它的训练数据进行评判。


一般来说,模型是通过在一个特定的训练数据集上最大化其性能来进行训练的。因此,模型记住了训练案例,但没有学会如何将新情况和数据集一般化。

3.超参数优化:

l.超参数是前面定义的神经网络参数,这些网络参数对神经网络来说非常重要。通过改变这样的参数,就可以在你的模型上引起很大的变化。   

如果仅仅依赖于默认参数,而不执行超参数优化可能对模型性能产生重大影响。而且,拥有太多的超参数并且手动调节它们而不是通过经过验证的方法进行优化,并不是一个好的想法。

4.高性能硬件:

深度学习需要高性能硬件为深度学习解决方案训练大量数据。为了解决现实世界的问题,机器需要具备足够的处理能力,以此确保更好的效率和较少的时间消耗。为了提高数据处理效率,确保数据科学家切换到多核心,效率更低,时间消耗更少,高性能GPU和类似处理单元就成了我们必备的工具。这些昂贵的处理单元也会消耗大量的电力。


工业级的深度学习系统需要高端数据中心而智能设备如无人机,机器人等其他移动设备则需要小而高效的处理单元。对于现实世界来说,部署深度学习解决方案,就变成了一场代价高昂且耗费能源的事件。

5.神经网络本质上是一个黑匣子

我们知道我们的模型参数,我们把已知的数据以及它们是如何组合在一起的反馈给神经系统网络。但是我们不能理解它们是如何解决一个特定的解决方案的。神经网络本质上就是一个黑匣子,研究人员都很难理解它们如何推断结论。


抽象层次上缺乏推理能力的神经网络的能力使高级认知功能变得困难。同时,它们的操作在很大程度上是看不见的,这使它们在重要的验证流程领域不是很适用。

然而,Murray Shanahan,伦敦帝国理工学院认知机器人教授向他的团队提交了一篇讨论深刻的象征性强化学习的论文,展示了解决上述障碍的进步。

6.缺乏灵活性和多任务处理

深度学习模式,经过训练,可以极大的提高效率并准确解决具体问题。然而从当前存在的情形来看,神经网络体系结构是高度专业化且特定的应用程序域。

Google DeepMind的研究科学家Raia Hadsell总结道:

“世界上没有一种神经网络,可以通过训练同时完成识别物体和图像、玩空间、听音乐。”

我们的大部分系统都在这个规则工作的,他们十分擅长解决一个问题。 即使解决一个非常相似的问题也需要再训练和重新评估。 研究人员正在努力工作开发可以同时进行多任务处理的深度学习模型。

虽然,在使用单任务的神经网络这方面有了一些小小的进步。此外在多任务学习(MTL)方面,还有很大的进步空间。来自多伦多大学的谷歌大脑团队的研究人员发表了一篇关于多模型的论文,一种神经系统同时从视觉和语言的成功中汲取的网络架构,音频网络同时跨越多个领域解决了许多问题,包括图像识别、翻译和语音识别。

深度学习是人工智能的主要研究领域之一,但它肯定不是完美无缺的。而探索新的认知技术领域的研究由于深度学习太火而显得很少,遇到一定的障碍和困难也是很正常,任何技术进步都是如此。未来的问题是“深度学习是否是我们接近真正人工智能的最佳解决方案?”作为一个AI领域的研究人员,我会一直关注于此。

本文由北邮@爱可可-爱生活老师推荐,阿里云云栖社区组织翻译。

文章原标题:《Challenges in Deep Learning

作者:Parth Shrivastava  

译者:乌拉乌拉,审校:袁虎。

文章为简译,更为详细的内容,请查看原文

相关文章
|
5月前
|
人工智能 JSON 前端开发
ChatGPT如何实现聊天一样的实时交互?快速读懂SSE实时“推”技术
本文将带你快速认识SSE实时通信协议,包括它的技术原理、常见使用场景、与同类技术的对比以及简单的示例代码等。
231 0
ChatGPT如何实现聊天一样的实时交互?快速读懂SSE实时“推”技术
|
5月前
|
缓存 JSON 自然语言处理
跨国采购 item_search 接口对接全攻略:从入门到精通
本文详解跨境电商多平台商品搜索接口(item_search)的标准化对接方案,覆盖Amazon、eBay、Lazada、速卖通等平台。从业务场景出发,剖析选品、比价、供应商筛选等核心需求,提出“统一接口+差异化适配”框架,实现关键词搜索、多条件筛选与数据标准化。通过抽象基类封装认证、参数映射、响应解析等共性流程,结合多语言处理、汇率转换与重试机制,构建高效稳定的全球采购搜索系统,助力企业提升决策效率与市场竞争力。(238字)
|
安全 自动驾驶 物联网
5G技术概览:开启万物互联新时代
【10月更文挑战第23天】
583 1
|
存储 缓存 网络协议
第五问:一个程序从点击到启动发生了什么?
一个可执行程序从用户点击启动到运行,经历了8个主要阶段:用户触发启动、操作系统查找文件、进程创建、可执行文件加载到内存、初始化程序上下文、执行程序入口点、程序运行和程序退出。涉及硬盘、内存、缓存等硬件交互。
|
编解码 人工智能 自然语言处理
MaskGCT:登上GitHub趋势榜榜首的TTS开源大模型
近日,香港中文大学(深圳)联手趣丸科技推出了新一代大规模声音克隆TTS模型——MaskGCT。一起看看该模型的一些表现吧!
|
安全 开发者 iOS开发
如何获取安全获取苹果udid,imei
【8月更文挑战第12天】在iOS系统中,苹果出于隐私考量已禁止开发者直接获取设备UDID与IMEI。替代方案包括:1) **供应商标识符** (`[UIDevice currentDevice].identifierForVendor`),适用于同一开发者账号下的应用,可能随应用卸载重装而变化;2) **广告标识符** (`[ASIdentifierManager sharedManager].advertisingIdentifier`),用于广告追踪,用户可选择重置或限制。处理这些标识符时务必遵守苹果隐私政策。
596 1
|
网络协议 Linux 测试技术
基于PING命令的主机探测
基于PING命令的主机探测
389 3
|
SQL 安全 Linux
命令执行漏洞
命令执行漏洞
|
机器学习/深度学习 人工智能 自然语言处理
Transformer介绍
Transformer模型于2017年由Google提出,其在BERT中大放异彩,革新了NLP领域。Transformer的优势在于并行计算能力和处理长距离依赖,通过自注意力机制避免了RNN/LSTM的梯度问题。它由编码器和解码器组成,使用位置编码处理序列信息。Transformer在机器翻译、文本生成、问答系统等多个任务中提升效率和准确性,并扩展至计算机视觉和语音识别。随着AI发展,Transformer成为大模型核心技术,推动整个产业进步。
|
存储 安全 数据库
数据库期末复习---简答题整理
数据库期末复习---简答题整理
290 0

热门文章

最新文章