【多标签文本分类】Initializing neural networks for hierarchical multi-label text classification

简介: 【多标签文本分类】Initializing neural networks for hierarchical multi-label text classification

·阅读摘要:

 本文在《Improved Neural Network-based Multi-label Classification

with Better Initialization Leveraging Label Co-occurrence》文章的基础上,提出了对具有层级结构的多标签进行多分类。

 [1] Initializing neural networks for hierarchical multi-label text classification

阅读前提


  在阅读本篇论文之前,务必阅读《Improved Neural Network-based Multi-label Classification

with Better Initialization Leveraging Label Co-occurrence》,因为本篇论文是基础此篇论文的小小改进。

 《Improved Neural Network-based Multi-label Classification

with Better Initialization Leveraging Label Co-occurrence》的阅读笔记请参考博客:https://blog.csdn.net/qq_43592352/article/details/122810687

论文核心内容


  1、提出在《Improved Neural Network-based Multi-label Classification

with Better Initialization Leveraging Label Co-occurrence》的模型,在应用于标签共现少的数据集时不适用。反而对具有层级结构的标签的数据集应用的更好。

  2、具有层级结构的标签:

image.png

 论文提出的理论是:当一个文本显式地具有某个标签(例如图中的深色的结点)时,那么这个文本一定得隐式地具有该标签的父标签(即图中深色结点一系列的浅色父结点)。

 “显式”表示在数据集中指定了这条文本的标签,“隐式”表示标签具有的父标签在数据集中这条文本上没有指定,但是标签有层级关系,它还是应当有的。

 3、对非标签共现模式的神经元采用:权重随机初始化或者权重零值初始化。

image.png

  4、后处理标签校正:

image.png

 论文提出,A中标签分配是错误的,一个文本具有z标签后,理应具有它的父标签y、z,但是A中没有,所以要修正。

 论文提出两种修正方法:传递修正(transitive correction)、撤回修正(retractive correction)。

 如图B,使用传递修正(transitive correction),把子类z的所有父级都设置为正标签,即x、y、z设为正标签。

 如图C,使用撤回修正(retractive correction),只把子类z的最终父级都设置为正标签,即x设为正标签。

目录
打赏
0
0
0
0
176
分享
相关文章
文献解读-Prediction of axillary lymph node metastasis in triple-negative breast cancer by multi-omics analysis and an integrated model
研究旨在为三阴性乳腺癌患者提供更准确的腋窝淋巴结转移风险评估工具。研究者综合分析了临床病理信息、基因组和转录组数据,构建了一个多组学预测模型。
73 4
[Initial Image Segmentation Generator]论文实现:Efficient Graph-Based Image Segmentation
[Initial Image Segmentation Generator]论文实现:Efficient Graph-Based Image Segmentation
112 1
【提示学习】Prompt Tuning for Multi-Label Text Classification: How to Link Exercises to Knowledge Concept
文章这里使用的是BCEWithLogitsLoss,它适用于多标签分类。即:把[MASK]位置预测到的词表的值进行sigmoid,取指定阈值以上的标签,然后算损失。
152 0
【论文解读】Co-attention network with label embedding for text classification
华南理工出了一篇有意思的文章,将标签和文本进行深度融合,最终形成带标签信息的文本表示和带文本信息的标签表示。
347 1
【论文解读】Dual Contrastive Learning:Text Classification via Label-Aware Data Augmentation
北航出了一篇比较有意思的文章,使用标签感知的数据增强方式,将对比学习放置在有监督的环境中 ,下游任务为多类文本分类,在低资源环境中进行实验取得了不错的效果
601 0
【多标签文本分类】Ensemble Application of Convolutional and Recurrent Neural Networks for Multi-label Text
【多标签文本分类】Ensemble Application of Convolutional and Recurrent Neural Networks for Multi-label Text
127 0
【多标签文本分类】Ensemble Application of Convolutional and Recurrent Neural Networks for Multi-label Text
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
206 0
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等