【多标签文本分类】层次多标签文本分类方法

简介: 【多标签文本分类】层次多标签文本分类方法

·阅读摘要:

 本文是一篇中文综述,主要介绍了层次多标签分类的一些算法。

·参考文献:

 [1] 赵海燕,曹杰,陈庆奎,曹健.层次多标签文本分类方法[J/OL].小型微型计

算机系统. https://kns.cnki.net/kcms/detail/21.1106.TP .20211130.1228.002.html

[1] 引言


  层次结构的标签一般有两种表示:

d26f189dc50d425bad66bb0c8cd589ad.png

  两种结构表示的示例图如下:

image.png

[2] 基本概念


  文中提出层级多标签分类的基本处理过程:

2119b1fac775487a996e24e314c8a08b.png

【注一】:文中提到“特征降维”这个过程,解释为:由向量空间模型来描述的文本向量通常具有较高的维度,这对于后续的分类任务来说,将带来效率低下和精确性下降的危害。 一般的话,特征降维是在机器学习的算法用的,深度学习的话,用词向量表示完文本,就直接卫道模型里面去了。

[3] 层次多标签文本分类器研究现状


  脑图如下:

35936edf158544b88b8aed0fb0acf267.png

【注二】:个人觉得,基于图表示的算法值得深究。

[4] 展望


  文中提到的未来突破方向有四:

  (1)分类器的设计。如何利用文本和各层标签的关系、如何利用层次标签的依赖关系是考察分类器优劣的一个重要方面。

 (2)寻找更好的文本编码表示。文本分类和其他分类的一个很大区别在于,因为文本一般是非结构化或者半结构数据,如何将其表示并能够较少地损失其原来蕴含的信息,这对后续的文本分类来说很重要,当然,Transformer和 BERT是两个目前效果较好的语言模型,也可以寻求其他方法来表示文本,比如文本的图表示等。但是这些表示都是通用的表示方法,而什么样的编码表示更适合于层次多标签文本分类还有待进一步研究。

  (3)极端的层次多标签文本分类问题。随着应用的深入,不少应用面临极端的层次多标签文本分类任务。它的特点是层次标签的数目非常多,层次级别也非常深,造成模型规模可能非常庞大,目前的计算能力难以处理。如何高效地处理极端层次多标签文本分类问题将成为未来的一个研究方向。

  (4)现实数据集中标签的长尾问题在现实数据集中,大部分标签的数据是相对较少的,即很少的数据和一些标签关联,甚至没有数据关联,特别在层次结构的底层靠近叶子节点处。长尾问题在极端的层次多标签文本分类问题中尤其严重。这种情况对于模型学习将造成困难,可能导致无法预测的问题。因此,如何处理层次多标签文本分类中的长尾问题,也是未来的一个重要研究方向。

【注三】:比较好突破的是1、3、4。

模型是最好做出突破的;

其次是解决长尾问题,长尾问题不是只存在于文本分类任务中的,它几乎在所有的分类任务中都存在,包括CV领域,所以解决方法很多,比较容易找到灵感;

极端的层次多标签文本分类问题做的不多,但是“极端”就意味着“大”,“大”就意味着“显卡”,没有硬实力会很难做。


相关文章
|
9月前
|
vr&ar
垃圾分类模型想上maixpy(2)
1-1 关于模型部署,MaixPy文档的这一部分中可能有些有用的参考:部署模型到 Maix-I(M1) K210 系列开发板 - Sipeed Wiki 。 实际用数字图片进行测试时,手写数字识别的模型无法产生正确的输出。
197 1
|
9月前
|
编解码 并行计算 TensorFlow
垃圾分类模型想上maixpy(3)
1-5 对比Params与模型文件实际体积。 结果:模型实际大小与Params大小是可以对上的,参数应该是以float32存储。我把“字节”与“位”搞混了,应该是一个字节为8位。
100 0
|
机器学习/深度学习 自然语言处理 算法
【多标签文本分类】《多粒度信息关系增强的多标签文本分类》
提出一种多粒度的多标签文本分类方法。一共3个粒度:文档级分类模块、词级分类模块、标签约束性关系匹配辅助模块。
222 0
|
4月前
|
机器学习/深度学习 算法
五、分类模型
五、分类模型
97 0
|
9月前
|
IDE TensorFlow 开发工具
垃圾分类模型想上maixpy(1)
maixpy笔记 Something 上下拉。应该就是强制高、低电平,可以避免不确定的状态。 模型区没有文件系统,模型之间烧录在指定地址。
149 0
bert知识库问答 实现建筑领域的问答匹配 文本相似性计算 完整代码数据
bert知识库问答 实现建筑领域的问答匹配 文本相似性计算 完整代码数据
128 0
|
计算机视觉
【多标签文本分类】《采用平衡函数的大规模多标签文本分类》
使用最常见的BERT+fc的多标签文本分类模型,只是改进了一下损失函数。
108 0
|
机器学习/深度学习 算法 数据挖掘
书写自动智慧文本分类器的开发与应用:支持多分类、多标签分类、多层级分类和Kmeans聚类
书写自动智慧文本分类器的开发与应用:支持多分类、多标签分类、多层级分类和Kmeans聚类
书写自动智慧文本分类器的开发与应用:支持多分类、多标签分类、多层级分类和Kmeans聚类
|
数据挖掘 知识图谱
【多标签文本分类】《基于标签语义注意力的多标签文本分类》
【多标签文本分类】《基于标签语义注意力的多标签文本分类》
176 0
【多标签文本分类】《基于标签语义注意力的多标签文本分类》
|
人工智能 计算机视觉
分割一切后,Segment Anything又能分辨类别了:Meta/UTAustin提出全新开放类分割模型
分割一切后,Segment Anything又能分辨类别了:Meta/UTAustin提出全新开放类分割模型
264 0