程序与技术分享:DeepMemoryNetwork深度记忆网络

简介: 程序与技术分享:DeepMemoryNetwork深度记忆网络

RNN解决长期依赖的能力随着文本长度的增加越来越差,attention机制是解决这种问题的一种思路,今天我们再来看另外一种思路,深度记忆网络。Deep Memory Network在QA和Aspect based Sentiment等NLP领域都有过成功的实践,但其提出者本身是以通用模型的形式提出的。


Introduce of Memory Network


Memory Networks


一个记忆网络是由一个记忆


m


m


m(一个以


m


i


m_i


mi?作为索引的数组对象)和4个组件


I


,


G


,


O


,


R


I,G,O,R


I,G,O,R组成。其中:


Memory Networks的处理过程


给定一个输入x(例:字符、词或者句子(视处理力度而定),图像或者声音信号),模型处理过程如下:


将x转化为中间特征表示


I


(


x


)


I(x)


I(x)。使用新输入更新记忆


m


i


m_i


mi?:


m


i


=


G


(


m


i


,


I


(


x


)


,


m


)


,


?


i


m_i=G(m_i, I(x), m), \forall i


mi?=G(mi?,I(x)//代码效果参考:http://hnjlyzjd.com/hw/wz_24181.html

,m),?i使用新输入的中间特征表示和记忆计算输出特征

o


o


o:


o


=


O


(


I


(


x


)


,


m


)


o=O(I(x), m)


o=O(I(x),m)最后,解码输出特征到最终回复:


r


=


R


(


o


)


r=R(o)


r=R(o)


这个过程在训练和测试时都适用,两者之间的区别在于:测试时记忆也会被存储,但模型参数


I


,


G


,


O


,


R


I,G,O,R


I,G,O,R将不会再更新。


I


,


G


,


O


,


R


I,G,O,R


I,G,O,R可以使用现有任何机器学习的方法来实现(SVM, 决策树)。


组件


I


I


I:


I


I


I可以使用标准的预处理步骤来实现,比如输入文本的语法分析、指代消解、实体识别等。它同样也可以将输入编码到一个中间的特征表示(将文本转化为稀疏或者稠密的特征向量)。


组件


G


G


G: 最简单的G的形式可以是将


I


(


x


)


I(x)


I(x)储存起来的槽位(slot):


m


H


(


x


)


=


I


(


x


)


m_{H(x)}=I(x)


mH(x)?=I(x)


其中


H


(


x


)


H(x)


H(x)是选择槽位的一个函数。即,


G


G


G只更新m的索引


H


(


x


)


H(x)


H(x),其他索引下的记忆部分将保持不变。更复杂的


G


G


G的实现还可以允许


G


G


G去根据当前输入x得到的新证据去更新先前存储的记忆。如果输入是字符级别或者词级别的你也可以将其进行分组。


如果记忆非常庞大(假设要记忆整个Freebase或者Wikipedia),你可能不得不把记忆使用


H


(


x


)


H(x)


H(x)来组织起来。


如果记忆已经被填满。你也可以使用


H


H


H来实现一种遗忘机制。


O


O


O和


R


R


R组件:


O


O


O组件被特别应用于读取记忆和执行推断,


R


R


R组件则根据


O


O


O的输出产生最终回复。例:在QA中,使用


O


O


O查找相关的记忆,然后


R


R


R生成文字来组成答案。


R


R


R可以是RNN,视


O


O


O的输出而定。这种设计基于的假设是,如果没有限定在这种记忆上,RNN会表现得相当差(事实上很多场景下确实如此)。


原论文给了一个QA的例子,但由于这个模型并没有广泛使用这里就不介绍了。我们转而介绍一种常用的端到端的记忆网络实现。


End-To-End Memory Network


端到端的记忆网络本质上也是一种RNN架构,但与RNN不同之处在于,在递归过程中会多次读取大型外部存储的记忆来输出一个符号。下面介绍的Memory Network可以有很多层,也易于反向传播,需要对网络的每一层进行监督训练。它以端到端的形式被应用于QA和Aspect Based Sentiment。


模型将一系列离散的输入


x


i


,


.


.


.


,


x


n


x_i,...,x_n


xi?,...,xn?存储在记忆中,并接受一个查询


q


q


q,输出回答


a


a


a。模型会将所有的


x


x


x写为记忆存储在一个固定大小的缓存中,然后寻求一个


x


x


x和


q


q


q的连续表示。该连续表示会被多跳处理以输出a。这使得错误信号能够在多级记忆中反向传播到输入。


Single Layer


整个模型是很多层堆起来的,我们先介绍单个层。


输入记忆表示(Input memory representation):假定我们把给定输入集


x


1


,


.


.


.


,


x


i


x_1,...,x_i


x1?,...,xi?存储在记忆中。整个输入集


x


i


{x_i}


xi?都会经由每个


x


i


x_i


xi?所处的连续空间的嵌入(embedding)被转化为维度为


d


d


相关文章
|
11天前
用MASM32按Time Protocol(RFC868)协议编写网络对时程序中的一些有用的函数代码
用MASM32按Time Protocol(RFC868)协议编写网络对时程序中的一些有用的函数代码
|
2月前
|
存储 网络协议 安全
|
2月前
|
机器学习/深度学习
【机器学习】面试题:LSTM长短期记忆网络的理解?LSTM是怎么解决梯度消失的问题的?还有哪些其它的解决梯度消失或梯度爆炸的方法?
长短时记忆网络(LSTM)的基本概念、解决梯度消失问题的机制,以及介绍了包括梯度裁剪、改变激活函数、残差结构和Batch Normalization在内的其他方法来解决梯度消失或梯度爆炸问题。
54 2
|
3月前
|
机器学习/深度学习 数据采集 自然语言处理
Python实现循环神经网络SimpleRNN、LSTM进行淘宝商品评论情感分析(含爬虫程序)
Python实现循环神经网络SimpleRNN、LSTM进行淘宝商品评论情感分析(含爬虫程序)
Python实现循环神经网络SimpleRNN、LSTM进行淘宝商品评论情感分析(含爬虫程序)
|
4月前
程序技术好文:计算机网络(九)——STP原理
程序技术好文:计算机网络(九)——STP原理
38 1
|
3月前
|
Windows
【计算机网络】已解决:“‘ping‘ 不是内部或外部命令,也不是可运行的程序或批处理文件”报错
【计算机网络】已解决:“‘ping‘ 不是内部或外部命令,也不是可运行的程序或批处理文件”报错
269 0
|
3月前
|
机器学习/深度学习 安全 网络安全
利用深度学习优化网络安全:技术分享与实践指南数字时代的守护者:网络安全漏洞、加密技术与安全意识的深度剖析
随着信息技术的飞速发展,网络安全问题日益凸显。传统防护措施面对复杂多变的网络攻击手段逐渐显得力不从心。本文将深入探讨如何通过深度学习技术提升网络安全防护能力,分析其在识别和预防潜在网络威胁方面的有效性,并结合实际案例,为读者提供一套可行的技术实施方案。 在数字化浪潮中,网络安全成为维护信息完整性、保密性和可用性的关键。本文深入探讨了网络安全的三大支柱:网络漏洞的识别与防护、加密技术的演进与应用、以及安全意识的培养与提升。通过分析最新的研究数据和案例,揭示这些要素如何共同构建起防御网络威胁的坚固堡垒。
|
3天前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
【9月更文挑战第34天】在数字化时代,网络安全与信息安全的重要性日益凸显。本文将探讨网络安全漏洞、加密技术以及安全意识等关键方面,旨在提升读者对网络安全防护的认识和理解。通过分析常见的网络安全漏洞,介绍加密技术的基本原理和应用,以及强调培养良好的安全意识的必要性,本文旨在为读者提供实用的知识和建议,以应对日益复杂的网络威胁。
|
2天前
|
安全 网络协议 网络安全
网络安全与信息安全
在数字化时代,网络安全和信息安全已成为全球关注的焦点。本文将探讨网络安全漏洞、加密技术以及安全意识的重要性,旨在帮助读者了解如何保护自己的在线信息和资产。通过分析常见的网络威胁和攻击手段,本文强调了采取适当的安全措施来防范风险的必要性。同时,本文还将介绍一些实用的加密技术和安全工具,以增强个人和组织的信息安全防御能力。
|
1天前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
【9月更文挑战第36天】在数字化时代,网络安全和信息安全成为了我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术和安全意识等方面的知识,帮助读者更好地了解网络安全的重要性。
下一篇
无影云桌面