【多标签文本分类】《多粒度信息关系增强的多标签文本分类》

参考论文信息

  论文名称：《多粒度信息关系增强的多标签文本分类》

  发布期刊：《软件学报》

  期刊信息：CSCD

评价：

 1、由于文中模型的输入是文本序列+标签序列，所以文中所有模块都能和“利用标签嵌入”扯上关系；

 2、文中有文档级全局分类、词级别分类，作者分别称之为浅层、深层；

 3、文中第三个模块：标签约束性关系匹配辅助模块，介绍的很不清楚，而且我无法想通这个模块在模型验证、预测阶段要怎么办？？？

 4、论文仍然有很多亮点：引言的写法；相关工作的写法让我眼前一亮；包括模型，抛开“标签约束性关系匹配辅助模块”，我觉得都我参考意义。

引言

 介绍文本分类在自然语言处理中的重要性，并给出在医疗大数据和司法大数据领域中的具体应用。

 现有分类算法的分类：介绍单标签分类算法和多标签分类算法，并说明多标签分类算法的应用场景。

 多标签文本分类问题：说明直接将多标签问题拆分为多个单标签分类问题的缺陷。

 基于深度学习的多标签文本分类：介绍使用深度神经网络进行多标签文本分类的方法，并指出其中存在的问题。

 本文提出的方法：介绍本文提出的增强多维信息关系的多标签文本分类方法，包括文本-标签联合嵌入方法、多粒度学习模块、标签约束关系匹配辅助模块等。

 实验结果：介绍在多个数据集上进行的实验结果，并说明本文方法在评估指标上取得了最佳结果。

 结论：总结本文提出的方法的贡献，并指出未来研究的方向。

【注】比较好的是给出在医疗大数据和司法大数据领域中的具体应用，善于用举例。而且举例也和后面的数据集相契合。值得学习。

相关工作

 研究重点主要分为文本特征表示学习和标签相关性学习两种类型。

【注】现在全网对多标签文本分类的相关工作都是：基于深度学习或者基于机器学习，其中基于机器学习算法的分类方法主要包括问题转换和算法自适应。本文给了不一样的视角，并且展开的都很好。

模型

 文中模型可以大致分为这四个部分：

1. 文本-标签联合嵌入⭐

 这属于共享层。文中以BERT的输入：第一个句子放要分类的文本，第二个句子放数据集所有的标签。这样训练出来的[CLS]理论上是文本与标签的混合表示。

 与此同时，由于 BERT预训练时的任务为 NSP (next sentence prediction)和 MLM (masked language model), 故当嵌入形式为文本-标签联合嵌入时, [CLS]标记主要作用为判断由[SEP]标记分隔的两个部分是否存在前后文关系, 即输入文本序列与输入标签序列是否存在前后文关系。因此直接把[CLS]拿来分类效果并不占优。

 所以在第一次分类时，提出了文档级分类模块。

2. 文档级信息浅层标签注意力 (DISLA) 分类模块

 关于这个模块的名字，我们拆开来看：文档级信息 + 浅层 + 标签注意力 + 分类。

 1、文档级信息：指的是它直接使用BERT的所有输出作为输入，进行多标签文本分类；

 2、浅层：是一个形容词，没实际意义，主要是和图中我标注的第3个模块进行对比，一个浅层，另一个是深层；

 3、标签注意力：BERT的输出中有标签信息，且DILA模块中有注意力机制，因此得名；

 4、分类：先进行一次多标签文本分类。

3. 词级信息深层标签注意力 (WIDLA)分类模块

  关于这个模块的名字，我们拆开来看：词级信息 + 深层 + 标签注意力 + 分类。

  此模块的结构比较好理解。标签与文本信息计算注意力权重，然后再乘回文本向量，最后分类。

4. 标签约束性关系匹配 (LCRM)辅助模块

 这个模块的思想为：

【注】论文往后的介绍部分很少，写的很模糊，可能我水平有限，看不懂……文中没有说训练过程，在模型验证与测试时，第4部分怎么办？？？第4部分的损失函数怎么计算，论文都没说。