【论文解读】Co-attention network with label embedding for text classification

简介: 华南理工出了一篇有意思的文章,将标签和文本进行深度融合,最终形成带标签信息的文本表示和带文本信息的标签表示。

🍥关键词:文本分类、多分类、多标签、标签嵌入

 

🍥发表期刊:Neurocomputing 2022  A2

🍥原始论文:https://mqianliu.github.io/files/CNLE_Neurocomputing22.pdf

🍥代码链接:https://github.com/lizhaoliu-Lec/CNLE

华南理工出了一篇有意思的文章,将标签和文本的序列信息进行深度融合,最终形成文本增强的标签表示和标签增强的文本表示。

一、Introduction

在本文中,我们试图通过进一步构造具有文本到标签注意的文本参与标签表示来利用标签信息。为此,我们提出了一种带有标签嵌入的协同注意网络(CNLE),该网络将文本和标签联合编码到它们相互参与的表示中。通过这种方式,该模型能够兼顾两者的相关部分。实验表明,我们的方法在7个多类分类基准和2个多标签分类基准上取得了与以前最先进的方法相比较不错的结果。

Paper中设计了一个网络模型,其包括Text-Lable Co-attentive Encoder(TLCE)和Adaptive Label Decoder(ALD)

image.gif编辑 二、Model

2.1 TLCE

假设文本x包含m个词和标签序列l包含c个标签

使用预训练词向量GloVe模型对单词进行嵌入,使用随机初始化对标签进行嵌入,随后使用两个独立的线性投影层进行投影,得到,

为了捕获文本序列中的上下文信息和标签序列中的相关性,使用BiLSTM来进行特征提取

为了获得文本参与的标签表示和标签参与的文本表示,使用改编的MultiHead Self-Attention

为了进一步利用标签连接文本编码的上下文信息和文本连接标签编码的相关性,使用两个独立的BiLSTM来传播文本序列和标签序列

到这里为止,编码工作就完成了

2.2 ALD

随后需要进行解码工作,主要使用了两个步骤

1)使用使用LSTM解码器获得隐藏状态、单元状态和循环上下文状态

2)通过自适应分类器计算每个类的概率

使用标准LSTMCell来生成标签序列进行解码操作,是隐藏层状态,是cell状态,是标签表示,是文本表示。

获得隐藏层状态之后,加上文本序列来计算注意力权重

那么,当前状态的上文表示为

获得了隐藏层状态后与标签序列一起来生成自适应分类器

损失函数的定义为

这里的损失函数既可以用于单标签也可以用于多标签

三、Experiment

数据集包括了7个多类分类数据集和2个多标签分类数据集,均为经典数据集

image.gif编辑

准确率

image.gif编辑

micro-F1

image.gif编辑

image.gif编辑

消融实验

image.gif编辑

image.gif编辑

对比实验

image.gif编辑

共享权重策略实验

image.gif编辑

共享参数对分类的效果没有多大影响,因为这样的模型使得标签和文本在语义空间上已经有高度的相似性。

四、Conclusion

这样的注意力机制还是蛮有意思的,将标签信息与文本信息进行融合,获得标签参与的文本表示和文本参与的标签表示。在多标签和低资源文本分类问题上可以进行借鉴。

目录
相关文章
|
开发框架 .NET 芯片
电子技术实训——多功能数字钟的设计
电子技术实训——多功能数字钟的设计
电子技术实训——多功能数字钟的设计
|
消息中间件 存储 算法
聊聊 Kafka: Consumer 源码解析之 Consumer 如何加入 Consumer Group
聊聊 Kafka: Consumer 源码解析之 Consumer 如何加入 Consumer Group
1982 0
|
负载均衡 Java API
Java一分钟之-Spring Cloud OpenFeign:声明式服务调用
【6月更文挑战第9天】Spring Cloud OpenFeign是声明式服务调用库,简化了微服务间调用。通过动态代理,它允许开发者用Java接口调用HTTP服务,支持服务发现、负载均衡。本文介绍了OpenFeign的基本概念,展示了如何添加依赖、开启客户端和定义服务接口。还讨论了接口调用失败、超时重试和日志配置等问题及其解决方案,并提供了自定义Feign配置的代码示例。通过学习,读者可以更好地在微服务架构中使用OpenFeign进行服务通信。
994 4
|
12月前
|
人工智能 弹性计算 安全
阿里云App SSH 工具更新体验
阿里云App SSH工具近期更新,带来UI优化、快捷命令、AI助手及横屏支持。操作更便捷,手机运维效率显著提升,尤其适合阿里云用户与命令不熟者,实用性强。
701 1
|
人工智能
【MCP教程系列】阿里云百炼xChatPPT,5分钟轻松搞定PPT
通过阿里云百炼平台结合ChatPPT,只需简单四步即可快速生成专业PPT。
4609 0
|
人工智能
HunyuanVideo:腾讯推出的开源视频生成模型,参数高达130亿
腾讯推出的开源视频生成模型HunyuanVideo,拥有130亿参数,是目前参数量最大的开源视频模型之一。该模型具备物理模拟、高文本语义还原度、动作一致性和电影级画质等特性,能生成带有背景音乐的视频,推动了视频生成技术的发展和应用。
1801 16
HunyuanVideo:腾讯推出的开源视频生成模型,参数高达130亿
|
应用服务中间件 网络安全 nginx
nginx 常用命令 |升级到1.20.1版本 | 如何更换 Nginx SSL 证书
nginx 常用命令 |升级到1.20.1版本 | 如何更换 Nginx SSL 证书
1102 0
|
JavaScript 数据库 Python
一篇文章搞懂flask_sqlalchemy常用操作
这篇文章介绍了Flask框架中SQLAlchemy库的常用操作,包括查询、删除和更新数据的方法和技巧。
1270 3
|
SQL 缓存 开发框架
全网最全安全加固指南之中间件加固
全网最全安全加固指南之中间件加固
2259 106
|
机器学习/深度学习 运维 算法
异常检测的特征工程:提取有价值的信息
本文介绍了异常检测中的特征工程,涵盖背景、核心概念、算法原理及代码实例。异常检测旨在识别数据中的异常行为,广泛应用于金融、医疗等领域。特征工程通过提取、选择和创建特征,提升模型性能。文中详细讲解了统计特征(如均值、方差)、时间序列特征(如移动平均、差分)和域知识特征的提取方法,并提供了Python代码示例。最后讨论了未来的发展趋势与挑战,包括数据复杂性增加、跨领域应用、解释性需求等。
568 1