【多标签文本分类】Initializing neural networks for hierarchical multi-label text classification

简介: 【多标签文本分类】Initializing neural networks for hierarchical multi-label text classification

·阅读摘要:

 本文在《Improved Neural Network-based Multi-label Classification

with Better Initialization Leveraging Label Co-occurrence》文章的基础上,提出了对具有层级结构的多标签进行多分类。

 [1] Initializing neural networks for hierarchical multi-label text classification

阅读前提


  在阅读本篇论文之前,务必阅读《Improved Neural Network-based Multi-label Classification

with Better Initialization Leveraging Label Co-occurrence》,因为本篇论文是基础此篇论文的小小改进。

 《Improved Neural Network-based Multi-label Classification

with Better Initialization Leveraging Label Co-occurrence》的阅读笔记请参考博客:https://blog.csdn.net/qq_43592352/article/details/122810687

论文核心内容


  1、提出在《Improved Neural Network-based Multi-label Classification

with Better Initialization Leveraging Label Co-occurrence》的模型,在应用于标签共现少的数据集时不适用。反而对具有层级结构的标签的数据集应用的更好。

  2、具有层级结构的标签:

image.png

 论文提出的理论是:当一个文本显式地具有某个标签(例如图中的深色的结点)时,那么这个文本一定得隐式地具有该标签的父标签(即图中深色结点一系列的浅色父结点)。

 “显式”表示在数据集中指定了这条文本的标签,“隐式”表示标签具有的父标签在数据集中这条文本上没有指定,但是标签有层级关系,它还是应当有的。

 3、对非标签共现模式的神经元采用:权重随机初始化或者权重零值初始化。

image.png

  4、后处理标签校正:

image.png

 论文提出,A中标签分配是错误的,一个文本具有z标签后,理应具有它的父标签y、z,但是A中没有,所以要修正。

 论文提出两种修正方法:传递修正(transitive correction)、撤回修正(retractive correction)。

 如图B,使用传递修正(transitive correction),把子类z的所有父级都设置为正标签,即x、y、z设为正标签。

 如图C,使用撤回修正(retractive correction),只把子类z的最终父级都设置为正标签,即x设为正标签。

相关文章
|
机器学习/深度学习 自然语言处理 算法
【多标签文本分类】《多粒度信息关系增强的多标签文本分类》
提出一种多粒度的多标签文本分类方法。一共3个粒度:文档级分类模块、词级分类模块、标签约束性关系匹配辅助模块。
399 0
|
5月前
|
机器学习/深度学习 人工智能 测试技术
【ICML2025】大模型后训练性能4倍提升!阿里云PAI团队研究成果ChunkFlow中选
近日,阿里云 PAI 团队、通义实验室与中国科学院大学前沿交叉科学学院合作在机器学习顶级会议 ICML 2025 上发表论文 Efficient Long Context Fine-tuning with Chunk Flow。ChunkFlow 作为阿里云在变长和超长序列数据集上高效训练解决方案,针对处理变长和超长序列数据的性能问题,提出了以 Chunk 为中心的训练机制,支撑 Qwen 全系列模型的长序列续训练和微调任务,在阿里云内部的大量的业务上带来2倍以上的端到端性能收益,大大降低了训练消耗的 GPU 卡时。
|
Web App开发 人工智能 Linux
操作系统的演变:从单一到多样化的旅程
随着科技的进步,操作系统已经从最初的简单任务管理工具发展成为今天复杂多样的生态系统。本文将探讨操作系统的关键发展阶段,包括它们的起源、主要特点、以及它们如何塑造现代计算环境。我们将通过具体实例和数据分析,揭示操作系统如何在满足用户需求的同时推动技术革新。
217 36
|
移动开发 小程序 API
uniapp中各种状态的按钮
uniapp中各种状态的按钮
753 0
|
自然语言处理 Python
【Python自然语言处理】文本向量化的六种常见模型讲解(独热编码、词袋模型、词频-逆文档频率模型、N元模型、单词-向量模型、文档-向量模型)
【Python自然语言处理】文本向量化的六种常见模型讲解(独热编码、词袋模型、词频-逆文档频率模型、N元模型、单词-向量模型、文档-向量模型)
4067 0
|
存储 Java
java实现单链表的创建、增、删、改、查
这篇文章详细介绍了Java中如何实现单链表的创建以及对单链表进行增加、删除、修改、查询等操作的方法,并提供了相应的代码示例。
java实现单链表的创建、增、删、改、查
|
Web App开发 弹性计算
ECS 按量付费VPC实例停机不收费FAQ
停机不收费支持范围 目前只支持VPC类型的按量付费的ECS实例,您需要在控制台签署接受停机不收费协议可以开启。开启之后下次Stop机器自动进入停机不收费模式。不影响您的经典网络和包年包月预付费ECS实例的行为。
9834 127
|
存储 并行计算 PyTorch
社区供稿 | 10G显存,通义千问-7B-int4消费级显卡最佳实践
在魔搭社区,通义千问团队发布了Qwen-7B-Chat的Int4量化模型,Qwen-7B-Chat-Int4。该方案的优势在于,它能够实现几乎无损的性能表现,模型大小仅为5.5GB,内存消耗低,速度甚至超过BF16。
|
存储 自然语言处理 数据挖掘
【BERT-多标签文本分类实战】之三——多标签文本分类的方向与常用数据集介绍
【BERT-多标签文本分类实战】之三——多标签文本分类的方向与常用数据集介绍
1351 0
|
存储 SQL 数据库
Python 教程之 Pandas(2)—— 创建 Pandas 数据框
Python 教程之 Pandas(2)—— 创建 Pandas 数据框
381 0