【多标签文本分类】层次多标签文本分类方法

简介: 【多标签文本分类】层次多标签文本分类方法

·阅读摘要:

 本文是一篇中文综述,主要介绍了层次多标签分类的一些算法。

·参考文献:

 [1] 赵海燕,曹杰,陈庆奎,曹健.层次多标签文本分类方法[J/OL].小型微型计

算机系统. https://kns.cnki.net/kcms/detail/21.1106.TP .20211130.1228.002.html

[1] 引言


  层次结构的标签一般有两种表示:

d26f189dc50d425bad66bb0c8cd589ad.png

  两种结构表示的示例图如下:

image.png

[2] 基本概念


  文中提出层级多标签分类的基本处理过程:

2119b1fac775487a996e24e314c8a08b.png

【注一】:文中提到“特征降维”这个过程,解释为:由向量空间模型来描述的文本向量通常具有较高的维度,这对于后续的分类任务来说,将带来效率低下和精确性下降的危害。 一般的话,特征降维是在机器学习的算法用的,深度学习的话,用词向量表示完文本,就直接卫道模型里面去了。

[3] 层次多标签文本分类器研究现状


  脑图如下:

35936edf158544b88b8aed0fb0acf267.png

【注二】:个人觉得,基于图表示的算法值得深究。

[4] 展望


  文中提到的未来突破方向有四:

  (1)分类器的设计。如何利用文本和各层标签的关系、如何利用层次标签的依赖关系是考察分类器优劣的一个重要方面。

 (2)寻找更好的文本编码表示。文本分类和其他分类的一个很大区别在于,因为文本一般是非结构化或者半结构数据,如何将其表示并能够较少地损失其原来蕴含的信息,这对后续的文本分类来说很重要,当然,Transformer和 BERT是两个目前效果较好的语言模型,也可以寻求其他方法来表示文本,比如文本的图表示等。但是这些表示都是通用的表示方法,而什么样的编码表示更适合于层次多标签文本分类还有待进一步研究。

  (3)极端的层次多标签文本分类问题。随着应用的深入,不少应用面临极端的层次多标签文本分类任务。它的特点是层次标签的数目非常多,层次级别也非常深,造成模型规模可能非常庞大,目前的计算能力难以处理。如何高效地处理极端层次多标签文本分类问题将成为未来的一个研究方向。

  (4)现实数据集中标签的长尾问题在现实数据集中,大部分标签的数据是相对较少的,即很少的数据和一些标签关联,甚至没有数据关联,特别在层次结构的底层靠近叶子节点处。长尾问题在极端的层次多标签文本分类问题中尤其严重。这种情况对于模型学习将造成困难,可能导致无法预测的问题。因此,如何处理层次多标签文本分类中的长尾问题,也是未来的一个重要研究方向。

【注三】:比较好突破的是1、3、4。

模型是最好做出突破的;

其次是解决长尾问题,长尾问题不是只存在于文本分类任务中的,它几乎在所有的分类任务中都存在,包括CV领域,所以解决方法很多,比较容易找到灵感;

极端的层次多标签文本分类问题做的不多,但是“极端”就意味着“大”,“大”就意味着“显卡”,没有硬实力会很难做。


相关文章
|
机器学习/深度学习 自然语言处理 算法
【多标签文本分类】《多粒度信息关系增强的多标签文本分类》
提出一种多粒度的多标签文本分类方法。一共3个粒度:文档级分类模块、词级分类模块、标签约束性关系匹配辅助模块。
335 0
|
7月前
|
缓存 自然语言处理 算法
大模型意图识别工程化实践
本文重点介绍大模型意图识别能力在智能电视核心链路中的落地过程和思考,对比了基础模型、RAG 、以及7b模型微调三种方案的优缺点。
3762 120
|
10月前
|
人工智能 自然语言处理 搜索推荐
浪潮信息 Yuan-embedding-1.0 模型登顶MTEB榜单第一名
浪潮信息Yuan-Embedding-1.0模型在C-MTEB评测基准中荣获Retrieval任务第一名,推动中文语义向量技术发展
1534 7
浪潮信息 Yuan-embedding-1.0 模型登顶MTEB榜单第一名
|
自然语言处理 API 开发工具
初识langchain:LLM大模型+Langchain实战[qwen2.1、GLM-4]+Prompt工程
【7月更文挑战第6天】初识langchain:LLM大模型+Langchain实战[qwen2.1、GLM-4]+Prompt工程
初识langchain:LLM大模型+Langchain实战[qwen2.1、GLM-4]+Prompt工程
|
数据挖掘
InsTag:大语言模型监督微调数据标签标注工具
魔搭社区发布了一个名为“InsTagger”的工具,用于分析LLM(大语言模型)中符合人类偏好的监督微调(SFT)数据。InsTagger 是基于 InsTag 方法训练的本地指令标签标注器,用于为符合人类偏好的监督微调数据集中的指令标注描述其意图和语义的标签,从而指导指令的分流或监督微调数据集的分析。
|
JSON 自然语言处理 数据处理
数据标注工具 Label-Studio
数据标注工具 Label-Studio
3824 0
|
存储 关系型数据库 MySQL
PostgreSQL与MySQL优劣势比较浅谈
PostgreSQL与MySQL优劣势比较浅谈
1724 0
|
机器学习/深度学习 数据采集 自然语言处理
【Deep Learning A情感文本分类实战】2023 Pytorch+Bert、Roberta+TextCNN、BiLstm、Lstm等实现IMDB情感文本分类完整项目(项目已开源)
亮点:代码开源+结构清晰+准确率高+保姆级解析 🍊本项目使用Pytorch框架,使用上游语言模型+下游网络模型的结构实现IMDB情感分析 🍊语言模型可选择Bert、Roberta 🍊神经网络模型可选择BiLstm、LSTM、TextCNN、Rnn、Gru、Fnn共6种 🍊语言模型和网络模型扩展性较好,方便读者自己对模型进行修改
1100 0
|
机器学习/深度学习 算法 数据挖掘
【多标签文本分类】MSML-BERT模型的层级多标签文本分类方法研究
【多标签文本分类】MSML-BERT模型的层级多标签文本分类方法研究
1469 0
【多标签文本分类】MSML-BERT模型的层级多标签文本分类方法研究
|
机器学习/深度学习 自然语言处理 算法
【论文解读】文本分类上分利器:Bert微调trick大全
【论文解读】文本分类上分利器:Bert微调trick大全
1034 0
【论文解读】文本分类上分利器:Bert微调trick大全