基于GCN和句法依存分析的情感分析

简介: (1)构建/利用图结构核心问题:针对某个特定任务构建一个图来使用潜在的信息。因为有些任务中,图数据是给定的(如引用网络、社交网络、推荐系统的图数据等),但是有些图结构并不明显,所以需要转为一个图上可以解决的问题(如节点分类、链路预测等)。

一、知识铺垫

1.1 GNN的应用模式

(1)构建/利用图结构

核心问题:针对某个特定任务构建一个图来使用潜在的信息。

因为有些任务中,图数据是给定的(如引用网络、社交网络、推荐系统的图数据等),但是有些图结构并不明显,所以需要转为一个图上可以解决的问题(如节点分类、链路预测等)。

(2)图作为外部知识

虽然一些任务本身和图没有啥关系,但是可以找到一些图结构的辅助信息,如引入知识图谱等。ex:如药物交互图可以作为外部知识辅助药物推荐;实体关系图可以作为额外信息帮助阅读理解。

(3)创造新的图

如在NLP的文本生成,或者语义解析等任务中。

要生成文本 or 逻辑语言可以认为是一个图结构,所以需要一个基于图神经网络的解码器。

1.2 以往的方法

以往处理情感分析问题,虽然也用了深度学习的方法提取语义特征,但是文本中的句法结构信息(其实一种图数据)经常被忽略。如果仅将依存句法信息用于规则构造和特征抽取,那么句子中成分间的非线性语义关系便没有被学习和利用。

image.png

(2)Bastings 等[21]基于句子的依存句法树信息对句子中的词进行表示,之后利用GCN进行机器翻译任务。

二、本文的研究方法:

(1)依存句法分析图中的节点特征:结合LSTM和注意力机制,抽取的文本特征。

(2)用GCN对(1)中生成的节点特征,和依存句法分析图的邻接矩阵进行训练。

(3)输出负面情感类别(愤怒、厌恶、恐惧和悲伤)

三、模型思想

image.png

四、实验过程

(1)先用word2vec对舆情文本进行无监督训练,得到含语义信息的词向量,即文本表示l。

(2)对(1)得到的l句子,使用Bi-LSTM进行特征提取,获得隐含层特征(由正向和反向的LSTM抽取出的特征拼接而成)。

(3)在Bi-LSTM加入注意力机制:增强句子中的情感语义信息,提升因递归减少的捕捉长距离依赖的能力。PS:自注意力机制本质上是输入Query (Q ) 到一系列键值对( Key ( K ),Value (V ) ) 的映射函数。Q,K,V 分别是由查询向量、键向量、值向量构成的矩阵。

(4)如上图右边的依存句法树(的邻接矩阵),直接输入GCN模型,得到特征image.png

其中:


image.png

image.png

是GCN中的权重矩阵

具体的栗子(从依存句法树转为邻接矩阵):

image.png

(5)对(4)得到的句子特征进行平均池化,再输入全连接层(激活函数为softmax),得到分类的情感label。

指标:准确率(Accuracy)、宏精确率(Macro_Precision)、宏召回值(Macro_Recall)和宏F1值(Macro_F1)作为模型的评估指标。

PS:其中隐藏层单元数和 GCN 的层数等超参数,作者进行调节分析,找到最佳值,如GCN层数, GCN 层数超过 3 时,模型性能出现较大回落,学习能力锐减。所以将GCN层数设置为1:

image.png

五、优点和局限性

5.1 优点

有画出不同模型的在情感分类任务中的混淆矩阵,还特别提到在恐惧情感中,本文模型的准确率达到了93.535%,相比BiLSTM-GCN和BiLSTM-Attention有较大提升。也说明了说明引入文本的依存句法结构以及应用自注意力机制和GCN的优势。

image.png

【混淆矩阵】

下面涉及英文缩写,第一个字母T和F代表True和False;第二个字母P和N代表阴性(Positive)和阳性(Negative),即预测结果。

真阳性TP:预测值和真实值都为正例;

真阴性TN:预测值与真实值都为正例;

假阳性FP:实际值为负,但预测值为正;

假阴性FN:实际值为正,但预测值为负;

image.png

TP反应预测为真的样本也是正样本的样本数。

image.png

5.2 局限性

和顶会相比是有不少局限性的:

(1)数据是用自己爬的数据,并没有用公开的数据集;

(2)模型进行比较时,用的baseline如CNN、logistic较为简单;当然也有用其他baseline如BiLSTM-GCN、BiLSTM-Attention、BiLSTM等进行对比试验。

(3)图神经网络算法并没有改动较大,只是进行模型的组装。

六、下一阶段

解读ACL论文:

Graph Convolutional Networks for Text Classification(用于文本分类的图卷积网络)

论文:https://arxiv.org/abs/1809.05679v1

相关文章
|
存储
Qt使用 QSetting 对 ini 配置文件进行操作
Qt使用 QSetting 对 ini 配置文件进行操作
1611 0
|
机器学习/深度学习 算法 PyTorch
昇腾910-PyTorch 实现 ResNet50图像分类
本实验基于PyTorch,在昇腾平台上使用ResNet50对CIFAR10数据集进行图像分类训练。内容涵盖ResNet50的网络架构、残差模块分析及训练代码详解。通过端到端的实战讲解,帮助读者理解如何在深度学习中应用ResNet50模型,并实现高效的图像分类任务。实验包括数据预处理、模型搭建、训练与测试等环节,旨在提升模型的准确率和训练效率。
744 54
|
机器学习/深度学习 自然语言处理 算法
|
SQL 存储 数据库
如何创建数据库表?
如何创建数据库表?
583 8
|
机器学习/深度学习 算法 图计算
图机器学习入门:基本概念介绍
图机器学习是机器学习的分支,专注于处理图形结构数据,其中节点代表实体,边表示实体间关系。本文介绍了图的基本概念,如无向图与有向图,以及图的性质,如节点度、邻接矩阵。此外,还讨论了加权图、自循环、多重图、双部图、异构图、平面图和循环图。图在描述数据关系和特征方面具有灵活性,为机器学习算法提供了丰富的结构信息。
603 0
|
存储 弹性计算 运维
自动对磁盘分区、格式化、挂载
【4月更文挑战第29天】
318 1
|
存储 安全 数据管理
磁盘分区全解:快速搞定硬盘分区
本文介绍了磁盘分区的重要性和好处,如数据管理、性能提升和安全增强,并为初学者提供了Windows系统下的磁盘分区指南。文章提到了三种磁盘分区工具:磁盘管理器、Diskpart命令行工具和第三方软件DiskGenius。同时,详细阐述了如何在磁盘管理器中创建新分区、使用DiskGenius一键重新分区、拆分现有分区以及通过Diskpart命令创建分区的步骤。最后,文章强调了磁盘分区在数据管理和系统优化中的价值。
|
存储 数据可视化
Fama French (FF) 三因子模型和CAPM模型分析股票市场投资组合风险/收益可视化
Fama French (FF) 三因子模型和CAPM模型分析股票市场投资组合风险/收益可视化
Fama French (FF) 三因子模型和CAPM模型分析股票市场投资组合风险/收益可视化
|
前端开发
前端开发之Element Plus的分页组件el-pagination显示英文转变为中文
前端开发之Element Plus的分页组件el-pagination显示英文转变为中文
1350 0
|
存储 机器学习/深度学习 人工智能
【排序算法】数据结构排序详解
【排序算法】数据结构排序详解
455 0