深度学习界冉冉升起的新星——循环神经网络(part1)-阿里云开发者社区

开发者社区> 【方向】> 正文

深度学习界冉冉升起的新星——循环神经网络(part1)

简介: 随着深度学习的流行,循环神经网络也随之受到了业内人士的广泛关注。目前该技术已经在自然语言处理(NLP)中取得了巨大的成功,想了解么?快来看看吧。
+关注继续查看

作者介绍:Hazem,机器学习以及深度学习爱好者

Bloghttps://thebeautyofml.wordpress.com/

当你实践机器学习方法的时候,我确信没有什么是比循环神经网络更让你激动的了。循环神经网络不仅是最强大,最成功的技术,它还是众多神经网络技术中最幸运的。尽管在大多数情况下,人们并不将之视为深度学习技术,今天我们介绍的研究仍然大量采用循环神经网络。循环神经网络的诞生要追溯到20世纪80年代,但是也就是随着深度学习技术的火爆,该技术才真正的蓬勃发展。

引言

在介绍循环神经网络的工作方式之前,我们先要明确几个概念。首先,循环神经网络是图灵完备的,这就意味着它可以模拟图灵机,也可以计算图灵机可以计算的算法。简单来说,循环神经网络有一块单独的内存,它的工作方式和图灵机用来输入输出的磁带一样。

我们想象一个无限长的纸带,我们称之为输入空间。在输入空间中的每一个点都看作是神经网络的输入。现在假设这些点沿着一个轴连接在一起(它们是水平线或垂直线),现在循环网络可以工作可以通过应用仿射变换,然后使用非线性激活函数(作为常规前馈网络)将线上的每个点作为输入,直到线结束为止。注意,这些点是彼此分离的。在每个点,循环网络应用输入的非线性变换计算隐藏激活神经元,因此对于网络来说想要知道当前点和下一个点之间的关系,它需要记住隐藏的激活神经元或循环的输出。如果空间中的输入是词向量,网络将映射当前词和前一个词到新的隐藏空间并组合它们两者。现在你可以看到,循环神经网络在时间轴上移动,循环网络现在可以计算在离散时间步长(例如,特定时间段内的温度度数)产生的输入。当然理论上来说,循环神经网络可以计算时间轴上任意的输入,哪怕在实际生活中也不会发生。我们关心的是时间轴上步长相同的行为,当然如果时间间隔太长我们也不会考虑。

cbf588c1ef90b976c31457688ab5b425fc89eba3

根据Eric Yuan的博客,一个对输入序列进行操作的循环神经网络,阴影显示网络对新输入的敏感性,因为它们覆盖了网络从以前的时间步长存储的旧的隐藏激活神经元。 这个原理类似于一个学生接受新的知识的时候很容易忘记之前的知识。

神奇之处

现在你知道循环神经网络如何工作的了,那么神奇也就发生了。一个循环神经网络能够用一个简单的权重集来处理序列,这就意味着每次推进网络,你用的权重集都是同一个,这是和前馈神经网络最大的不同。你可以把每个输入点视为不同的需要不同的权重集的输入。 这称为参数共享,它是机器学习的一个非常重要的概念。 我们也可以在前馈网络中使用参数共享,但是前馈网络不会保持之前的隐藏激活神经元。

当然,你也可以把循环神经网络看作一个在循环中的前馈神经网络,并且每次它的输入是两个向量。在当前时间步长的输入和先前隐藏的激活神经元使用相同的权重。

工作原理

时间分离的输入或简单的时间序列进行都可以作为循环神经网络的输入。下面的公式描述了这个网络的数学模型:

414b921ef6d63514f64cdddbc1d827cf7015b60a

公式中的 467d2a5d15a135ba321b9d0e24c5ced49670769d非常有趣,当通过反向传播算法学习时,它表示网络的存储器。467d2a5d15a135ba321b9d0e24c5ced49670769d控制着从先前的时间步长隐藏神经元应该传递什么。一个更加成熟的架构(被称为长期短期记忆)将467d2a5d15a135ba321b9d0e24c5ced49670769d分为许多参数,这样就能控制需要记住或者传递到下一个时间步长多少输入或者隐藏激活神经元。

更有趣的是,循环神经网络可以在时间45ef74a25668853cbda39c15fb3f772f7f3e8d59忘记隐藏激活神经元,当一个新的输入在t时刻被提交给了网络。这是因为467d2a5d15a135ba321b9d0e24c5ced49670769d是固定的,不随时间步长变化。该问题可以通过反向传播中的轻微修改和循环网络神经元结构的修改来解决。

循环神经网络可以学习分类序列,就像神经网络分类输入向量一样。考虑作为单词向量序列的自然语言句子,这些单词向量一个接一个地送到循环网络并产生作为最终输出的情感类别(正的,负的或中性的)。当然,您可以对每个输入向量进行分类,而不是对整个序列进行分类。循环神经网络可以输出序列,如在机器翻译的任务中,对于源语言中的每个词向量,网络可以精准输出目标语言中的单词。你可以看到,循环神经网络是处理自然语言时的选择很自然,因为我们处理的是词序列。

数十款阿里云产品限时折扣中,赶紧点击领劵开始云上实践吧!

以上为译文

本文由北邮@爱可可-爱生活 老师推荐,阿里云云栖社区组织翻译。

文章原标题《Computing Time Part (I): Recurrent Neural Networks》,作者:Hazem,译者:爱小乖,审校:6816816151。

文章为简译,更为详细的内容,请查看原文


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
DL:深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
DL:深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
17 0
深度学习Trick——用权重约束减轻深层网络过拟合|附(Keras)实现代码
深度学习小技巧,约束权重以降低模型过拟合的可能,附keras实现代码。
1558 0
IBM RSA (IBM rational software architect ) V8 学习之二 新建项目
原文http://blog.csdn.net/ztz0223/article/details/7592253 这类文章只是我自己需要,所以学习了,自己的一些操作,特地记录下来。看客若有更好的见解,欢迎提出,先表示感谢。
787 0
+关注
【方向】
欢迎各位对内容方向及质量提需求,我们尽量满足,将国外优质的内容呈现给大家!
696
文章
5
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载