递归神经网络——就是解决AST这样的问题

简介:

原文:https://zybuluo.com/hanbingtao/note/626300

 

有时候把句子看做是词的序列是不够的,比如下面这句话『两个外语学院的学生』:

上图显示了这句话的两个不同的语法解析树。可以看出来这句话有歧义,不同的语法解析树则对应了不同的意思。一个是『两个外语学院的/学生』,也就是学生可能有许多,但他们来自于两所外语学校;另一个是『两个/外语学院的学生』,也就是只有两个学生,他们是外语学院的。为了能够让模型区分出两个不同的意思,我们的模型必须能够按照树结构去处理信息,而不是序列,这就是递归神经网络的作用。当面对按照树/图结构处理信息更有效的任务时,递归神经网络通常都会获得不错的结果。

如下图所示,递归神经网络在做情感分析时,可以比较好的处理否定句,这是胜过其他一些模型的:

在上图中,蓝色表示正面评价,红色表示负面评价。每个节点是一个向量,这个向量表达了以它为根的子树的情感评价。比如"intelligent humor"是正面评价,而"care about cleverness wit or any other kind of intelligent humor"是中性评价。我们可以看到,模型能够正确的处理doesn't的含义,将正面评价转变为负面评价。

尽管递归神经网络具有更为强大的表示能力,但是在实际应用中并不太流行。其中一个主要原因是,递归神经网络的输入是树/图结构,而这种结构需要花费很多人工去标注。想象一下,如果我们用循环神经网络处理句子,那么我们可以直接把句子作为输入。然而,如果我们用递归神经网络处理句子,我们就必须把每个句子标注为语法解析树的形式,这无疑要花费非常大的精力。很多时候,相对于递归神经网络能够带来的性能提升,这个投入是不太划算的。

。。。












本文转自张昺华-sky博客园博客,原文链接:http://www.cnblogs.com/bonelee/p/7717591.html,如需转载请自行联系原作者



相关文章
|
8天前
|
机器学习/深度学习
HAR-RV-J与递归神经网络(RNN)混合模型预测和交易大型股票指数的高频波动率
HAR-RV-J与递归神经网络(RNN)混合模型预测和交易大型股票指数的高频波动率
17 0
|
9天前
|
机器学习/深度学习 存储 测试技术
使用PYTHON中KERAS的LSTM递归神经网络进行时间序列预测
使用PYTHON中KERAS的LSTM递归神经网络进行时间序列预测
19 0
|
6月前
|
机器学习/深度学习 传感器 算法
Elman分类预测 | Matlab基于递归神经网络Elman分类预测,多特征输入模型
Elman分类预测 | Matlab基于递归神经网络Elman分类预测,多特征输入模型
|
8月前
|
机器学习/深度学习
时序预测 | MATLAB实现基于BP神经网络的时间序列预测-递归预测未来(多指标评价)
时序预测 | MATLAB实现基于BP神经网络的时间序列预测-递归预测未来(多指标评价)
|
8月前
|
机器学习/深度学习
时序预测 | MATLAB实现基于CNN-LSTM卷积长短期记忆神经网络的时间序列预测-递归预测未来(多指标评价)
时序预测 | MATLAB实现基于CNN-LSTM卷积长短期记忆神经网络的时间序列预测-递归预测未来(多指标评价)
|
8月前
|
机器学习/深度学习
时序预测 | MATLAB实现基于CNN-BiLSTM卷积双向长短期记忆神经网络的时间序列预测-递归预测未来(多指标评价)
时序预测 | MATLAB实现基于CNN-BiLSTM卷积双向长短期记忆神经网络的时间序列预测-递归预测未来(多指标评价)
|
9月前
|
机器学习/深度学习 自然语言处理 算法
通过展开序列ISTA(SISTA)算法创建的递归神经网络(RNN)(Matlab代码实现)
通过展开序列ISTA(SISTA)算法创建的递归神经网络(RNN)(Matlab代码实现)
|
机器学习/深度学习 传感器 算法
基于时间反向传播 (BPTT)递归神经网络实现非线性系统识别附matlab代码
基于时间反向传播 (BPTT)递归神经网络实现非线性系统识别附matlab代码
|
机器学习/深度学习 自然语言处理
基于树结构递归神经网络的推特谣言检测
在谣言检测研究方面,目前很少有基于谣言传播结构的方法。一些基于核的方法用来建模传播树的结构,通过对比树的相似性可以区分谣言和非谣言,但是不能直接分类一棵树,而是需要与其他树两两对比。
165 0
基于树结构递归神经网络的推特谣言检测
|
机器学习/深度学习
递归神经网络|深度学习(李宏毅)(十六)
递归神经网络|深度学习(李宏毅)(十六)
378 0
递归神经网络|深度学习(李宏毅)(十六)

热门文章

最新文章