备案控制台
开发者社区 人工智能 文章 正文

GRU神经网络

2017-08-17 3627
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 前面已经详细讲了LSTM神经网络（文末有链接回去），接着往下讲讲LSTM的一个很流行的变体。 GRU是什么 GRU即Gated Recurrent Unit。

前面已经详细讲了LSTM神经网络（文末有链接回去），接着往下讲讲LSTM的一个很流行的变体。

GRU是什么

GRU即Gated Recurrent Unit。前面说到为了克服RNN无法很好处理远距离依赖而提出了LSTM，而GRU则是LSTM的一个变体，当然LSTM还有有很多其他的变体。GRU保持了LSTM的效果同时又使结构更加简单，所以它也非常流行。

GRU模型

回顾一下LSTM的模型，LSTM的重复网络模块的结构很复杂，它实现了三个门计算，即遗忘门、输入门和输出门。

这里写图片描述


而GRU模型如下，它只有两个门了，分别为更新门和重置门，即图中的zt和rt。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。重置门用于控制忽略前一时刻的状态信息的程度，重置门的值越小说明忽略得越多。


这里写图片描述


GRU向前传播

根据前面GRU模型图来一步步看他是怎么向前传播的，根据图不难得到以下式子： 


45892f2b071c95495c821c1b800f4ed5ba0294bb


其中[]表示两个向量相连接，*表示矩阵元素相乘。

GRU的训练

0f0f03c3e9c1c621f8cd4a33d21be0d2897d06ca


91789b04fe692fa90aba152f40157e00c5a25563




以下是广告和相关阅读

========广告时间========

鄙人的新书《Tomcat内核设计剖析》已经在京东销售了，有需要的朋友可以到 https://item.jd.com/12185360.html 进行预定。感谢各位朋友。

为什么写《Tomcat内核设计剖析》

=========================

相关阅读：

LSTM神经网络

循环神经网络

卷积神经网络

机器学习之神经网络

机器学习之感知器

欢迎关注：

这里写图片描述

文章标签：
机器学习/深度学习
关键词：
神经网络gru
gru神经网络
sea-boat
目录
相关文章
小森ai小小贾
|
23小时前
|
机器学习/深度学习 PyTorch 算法框架/工具
RNN、LSTM、GRU神经网络构建人名分类器（三）
这个文本描述了一个使用RNN（循环神经网络）、LSTM（长短期记忆网络）和GRU（门控循环单元）构建的人名分类器的案例。案例的主要目的是通过输入一个人名来预测它最可能属于哪个国家。这个任务在国际化的公司中很重要，因为可以自动为用户注册时提供相应的国家或地区选项。
小森ai小小贾
16 5
小森ai小小贾
|
23小时前
|
机器学习/深度学习
RNN、LSTM、GRU神经网络构建人名分类器（二）
这个文本描述了一个使用RNN（循环神经网络）、LSTM（长短期记忆网络）和GRU（门控循环单元）构建的人名分类器的案例。案例的主要目的是通过输入一个人名来预测它最可能属于哪个国家。这个任务在国际化的公司中很重要，因为可以自动为用户注册时提供相应的国家或地区选项。
小森ai小小贾
14 5
阿旭算法与机器学习
|
9天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】35. 门控循环神经网络之门控循环单元（gated recurrent unit，GRU）介绍、Pytorch实现GRU并进行训练预测
【从零开始学习深度学习】35. 门控循环神经网络之门控循环单元（gated recurrent unit，GRU）介绍、Pytorch实现GRU并进行训练预测
阿旭算法与机器学习
17 0
拓端数据部落
|
1月前
|
机器学习/深度学习 算法 Python
Python用RNN神经网络：LSTM、GRU、回归和ARIMA对COVID19新冠疫情人数时间序列预测
Python用RNN神经网络：LSTM、GRU、回归和ARIMA对COVID19新冠疫情人数时间序列预测
拓端数据部落
60 12
theMilkyWay`
|
7月前
|
机器学习/深度学习 移动开发 自然语言处理
循环神经网络(RNN)、门控循环单元（GRU）、长短期记忆(LSTM)
循环神经网络(RNN)、门控循环单元（GRU）、长短期记忆(LSTM)
theMilkyWay`
163 0
汀丶人工智能
|
机器学习/深度学习 人工智能 自然语言处理
深度学习基础入门篇-序列模型[11]：循环神经网络 RNN、长短时记忆网络LSTM、门控循环单元GRU原理和应用详解
深度学习基础入门篇-序列模型[11]：循环神经网络 RNN、长短时记忆网络LSTM、门控循环单元GRU原理和应用详解
汀丶人工智能
188 0
深度学习基础入门篇-序列模型[11]：循环神经网络 RNN、长短时记忆网络LSTM、门控循环单元GRU原理和应用详解
Matlab科研工作室
|
机器学习/深度学习 传感器 算法
【GRU回归预测】基于贝叶斯网络以后卷积神经网络结合门控循环单元CNN-GRU实现数据多维输入单输出预测附matlab代码
【GRU回归预测】基于贝叶斯网络以后卷积神经网络结合门控循环单元CNN-GRU实现数据多维输入单输出预测附matlab代码
Matlab科研工作室
106 0
Matlab科研工作室
|
机器学习/深度学习 传感器 算法
【GRU回归预测】基于灰狼算法优化门控循环单元GWO-GRU神经网络实现多输入单输出回归预测附matlab代码
【GRU回归预测】基于灰狼算法优化门控循环单元GWO-GRU神经网络实现多输入单输出回归预测附matlab代码
Matlab科研工作室
174 0
Matlab科研工作室
|
机器学习/深度学习 传感器 算法
【GRU回归预测】基于麻雀算法优化门控循环单元SSA-GRU神经网络实现多输入单输出回归预测附matlab代码
【GRU回归预测】基于麻雀算法优化门控循环单元SSA-GRU神经网络实现多输入单输出回归预测附matlab代码
Matlab科研工作室
190 0
二进制人工智能
|
机器学习/深度学习 PyTorch 算法框架/工具
【Pytorch】（十一）循环神经网络（RNN）（十二）长短期记忆（LSTM）、门控循环单元（GRU）
二进制人工智能
73 0

热门文章

最新文章

  • 1
    Python中TensorFlow的长短期记忆神经网络(LSTM)、指数移动平均法预测股票市场和可视化
  • 2
    Python电力负荷：ARIMA、LSTM神经网络时间序列预测分析
  • 3
    深度学习中的卷积神经网络（CNN）详解
  • 4
    揭秘卷积神经网络 (CNN)：深度学习的视觉巨匠
  • 5
    【AI 初识】什么是卷积神经网络 （CNN）？
  • 6
    TensorFlow、Keras 和 Python 构建神经网络分析鸢尾花iris数据集|代码数据分享
  • 7
    Python用RNN神经网络：LSTM、GRU、回归和ARIMA对COVID19新冠疫情人数时间序列预测
  • 8
    R语言用灰色模型 GM (1,1)、神经网络预测房价数据和可视化
  • 9
    R语言中的SOM(自组织映射神经网络)对NBA球员聚类分析
  • 10
    【Python 机器学习专栏】Python 深度学习入门：神经网络基础
  • 1
    神经网络分类算法原理详解
    112
  • 2
    【PyTorch实战演练】深入剖析MTCNN(多任务级联卷积神经网络)并使用30行代码实现人脸识别
    223
  • 3
    如何使用Python的Keras库构建神经网络模型？
    19
  • 4
    论文介绍：基于扩散神经网络生成的时空少样本学习
    28
  • 5
    6 种 卷积神经网络压缩方法
    33
  • 6
    神经网络算法——损失函数（Loss Function）
    46
  • 7
    神经网络算法——反向传播 Back Propagation
    41
  • 8
    神经网络结构——CNN、RNN、LSTM、Transformer ！！
    184
  • 9
    神经网络算法 —— Embedding（嵌入）！！
    92
  • 10
    神经网络算法 —— 一文搞懂Transformer ！！
    216

    • 相关课程

    更多
  • 神经网络概览及算法详解
  • Linux网络进阶 - TCP/IP协议及OSI七层模型
  • 云网络白皮书-阿里云网络系列课
  • 云计算工程师解析与实战-网络专家篇（体验版）
  • 企业上云攻略-阿里云网络产品应用系列教程
  • 企业级云上网络构建

    • 相关电子书

    更多
  • 基于神经网络的语言合成
  • 机器能理解上下文吗-RNN和LSTM神经网络的原理及应用
  • 深度学习论文实现：空间变换网络-第一部分

    • 相关实验场景

    更多
  • 如何快速训练大模型
  • 容器的网络入门
  • 容器的自定义网络
  • 容器的共享网络模型
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考