【多标签文本分类】Initializing neural networks for hierarchical multi-label text classification

简介: 【多标签文本分类】Initializing neural networks for hierarchical multi-label text classification

·阅读摘要:

 本文在《Improved Neural Network-based Multi-label Classification

with Better Initialization Leveraging Label Co-occurrence》文章的基础上,提出了对具有层级结构的多标签进行多分类。

 [1] Initializing neural networks for hierarchical multi-label text classification

阅读前提


  在阅读本篇论文之前,务必阅读《Improved Neural Network-based Multi-label Classification

with Better Initialization Leveraging Label Co-occurrence》,因为本篇论文是基础此篇论文的小小改进。

 《Improved Neural Network-based Multi-label Classification

with Better Initialization Leveraging Label Co-occurrence》的阅读笔记请参考博客:https://blog.csdn.net/qq_43592352/article/details/122810687

论文核心内容


  1、提出在《Improved Neural Network-based Multi-label Classification

with Better Initialization Leveraging Label Co-occurrence》的模型,在应用于标签共现少的数据集时不适用。反而对具有层级结构的标签的数据集应用的更好。

  2、具有层级结构的标签:

image.png

 论文提出的理论是:当一个文本显式地具有某个标签(例如图中的深色的结点)时,那么这个文本一定得隐式地具有该标签的父标签(即图中深色结点一系列的浅色父结点)。

 “显式”表示在数据集中指定了这条文本的标签,“隐式”表示标签具有的父标签在数据集中这条文本上没有指定,但是标签有层级关系,它还是应当有的。

 3、对非标签共现模式的神经元采用:权重随机初始化或者权重零值初始化。

image.png

  4、后处理标签校正:

image.png

 论文提出,A中标签分配是错误的,一个文本具有z标签后,理应具有它的父标签y、z,但是A中没有,所以要修正。

 论文提出两种修正方法:传递修正(transitive correction)、撤回修正(retractive correction)。

 如图B,使用传递修正(transitive correction),把子类z的所有父级都设置为正标签,即x、y、z设为正标签。

 如图C,使用撤回修正(retractive correction),只把子类z的最终父级都设置为正标签,即x设为正标签。

相关文章
|
9月前
|
机器学习/深度学习 数据挖掘
【提示学习】HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification
本文是较早把Prompt应用到层级多标签文本分类领域的论文。思路是把层级标签分层编入到Pattern中,然后修改损失函数以适应多标签的分类任务。
119 0
|
9月前
|
数据挖掘
【提示学习】Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification
文章提出了一种简单确高效地构建verbalization的方法:
|
9月前
|
数据挖掘
【提示学习】Prompt Tuning for Multi-Label Text Classification: How to Link Exercises to Knowledge Concept
文章这里使用的是BCEWithLogitsLoss,它适用于多标签分类。即:把[MASK]位置预测到的词表的值进行sigmoid,取指定阈值以上的标签,然后算损失。
|
机器学习/深度学习 数据挖掘
【论文解读】Co-attention network with label embedding for text classification
华南理工出了一篇有意思的文章,将标签和文本进行深度融合,最终形成带标签信息的文本表示和带文本信息的标签表示。
166 1
|
11月前
|
自然语言处理 算法 知识图谱
DEGREE: A Data-Efficient Generation-Based Event Extraction Model论文解读
事件抽取需要专家进行高质量的人工标注,这通常很昂贵。因此,学习一个仅用少数标记示例就能训练的数据高效事件抽取模型已成为一个至关重要的挑战。
90 0
|
数据可视化 数据挖掘
【论文解读】Dual Contrastive Learning:Text Classification via Label-Aware Data Augmentation
北航出了一篇比较有意思的文章,使用标签感知的数据增强方式,将对比学习放置在有监督的环境中 ,下游任务为多类文本分类,在低资源环境中进行实验取得了不错的效果
282 0
【多标签文本分类】Ensemble Application of Convolutional and Recurrent Neural Networks for Multi-label Text
【多标签文本分类】Ensemble Application of Convolutional and Recurrent Neural Networks for Multi-label Text
【多标签文本分类】Ensemble Application of Convolutional and Recurrent Neural Networks for Multi-label Text
|
机器学习/深度学习 算法 数据挖掘
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
|
机器学习/深度学习 算法 数据挖掘
【多标签文本分类】Deep Learning for Extreme Multi-label Text Classification
【多标签文本分类】Deep Learning for Extreme Multi-label Text Classification
243 0
【多标签文本分类】Deep Learning for Extreme Multi-label Text Classification
|
机器学习/深度学习 算法 数据挖掘
【多标签文本分类】SGM: Sequence Generation Model for Multi-Label Classification
【多标签文本分类】SGM: Sequence Generation Model for Multi-Label Classification
121 0
【多标签文本分类】SGM: Sequence Generation Model for Multi-Label Classification