【多标签文本分类】HFT-CNN: Learning Hierarchical Category Structure for Multi-label Short Text Categorization

简介: 【多标签文本分类】HFT-CNN: Learning Hierarchical Category Structure for Multi-label Short Text Categorization

·阅读摘要:

 本文提出结合基于CNN微调的HFT-CNN模型来解决层级多标签文本分类问题。

 [1] HFT-CNN: Learning Hierarchical Category Structure for Multi-label Short Text Categorization


【注一】:还有一篇是解决层次结构的多标签分类论文《Initializing neural networks for hierarchical multi-label text classification》阅读博客地址为:https://blog.csdn.net/qq_43592352/article/details/122815714


【注二】:本文提出的HFT-CNN模型是为了解决大规模、层级标签问题,而《Initializing neural networks for hierarchical multi-label text classification》是提出将CNN用于层级多标签分类,提出的模型较为简单。

[0] 摘要


  层次目录结构水平越低,分类效果越差。因为较低的类别是细粒度的,每个类别的训练数据量比较高级别的要小得多。论文提出了一种方法,通过应用一个带有微调技术的卷积神经网络(CNN),可以有效地利用上层的数据对下层的分类作出贡献。

【注三】:微调现在基于bert来使用效果最好。

[1] 介绍


   层级标签的数据稀疏性的详情: 较低级别的类别与较高级别的类别相比具有细粒度。而且,经常会出现低级别训练数据量比高级别训练数据量小得多的情况,从而影响了分类的整体性能。

[2] 模型


  作者提出了HFT-CNN模型,该模型主要是解决层级性多元标签的短文本分类任务,其核心是标签的层级性,其次是多元标签和短文本。HFT是Hierarchical Fine-Tuning缩写,其意思就是在学习层级信息的时候,使用fine-tuning这种微调的技术,将上层标签信息微调的方式传到下层标签的学习中。作者提出该方法的原因是:觉得在处理有结构的多元标签分类任务上,现有很多模型都是non-hierarchical flat mode,只是平行化的利用标签的层级关系信息,而作者的模型是hierarchical mode,一个有层级结构的模型。

6c2f94f4e0eb435b939ae608137447c0.png

 参考模型中标签的结构,来说下其样本训练学习的思路: 1)输入的是样本一段短文本sentence,将sentence转换成词embedding,文中利用的fastText; 2)接着先训练样本的顶层label(A,B),具体是在embedding层后加一个卷积层(convoluational layer),最大池化层(maxpooling layer),全连接层+dropout,最后加个sigmoid层,用的二元交叉熵(binary cross-entorpy loss)进行A,B标签预测,这一个CNN分类框架; 3)在预测下一层标签时(A1,A2,B1,B2),采用的仍是CNN结构,只是在embedding layer和convoluational layer不重新生成,而是继承上一层学习的结果,然后在这个基础上进行微调学习; 4)按照2,3步骤,遍历整个层级标签;


 以上是论文模型的基本思想,我个人的看法是:这个想法是好的,在embedding layer和convoluational layer进行微调,理论上是说的通的,因为子类标签所涵盖的特征信息应该也属于父类标签所涵盖的特征信息。然后,这两类特征信息必须有个差异,如何把这类差异信息有效捕捉出来才是关键,当然这个也不好衡量,也是由于深度学习本质所决定,不能很好解释真正起作用的原因。

相关文章
|
机器学习/深度学习
【多标签文本分类】融合CNN-SAM与GAT的多标签文本分类模型
【多标签文本分类】融合CNN-SAM与GAT的多标签文本分类模型
244 0
【多标签文本分类】融合CNN-SAM与GAT的多标签文本分类模型
|
1月前
|
机器学习/深度学习 人工智能 算法框架/工具
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
【10月更文挑战第7天】本文将深入探讨卷积神经网络(CNN)的基本原理,以及它如何在图像识别领域中大放异彩。我们将从CNN的核心组件出发,逐步解析其工作原理,并通过一个实际的代码示例,展示如何利用Python和深度学习框架实现一个简单的图像分类模型。文章旨在为初学者提供一个清晰的入门路径,同时为有经验的开发者提供一些深入理解的视角。
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习中的卷积神经网络(CNN)及其应用
【9月更文挑战第24天】本文将深入探讨深度学习中的一种重要模型——卷积神经网络(CNN)。我们将通过简单的代码示例,了解CNN的工作原理和应用场景。无论你是初学者还是有经验的开发者,这篇文章都将为你提供有价值的信息。
102 1
|
7天前
|
机器学习/深度学习 计算机视觉 网络架构
为什么卷积现在不火了:CNN研究热度降温的深层原因分析
纵观近年的顶会论文和研究热点,我们不得不承认一个现实:CNN相关的研究论文正在减少,曾经的"主角"似乎正逐渐淡出研究者的视野。
29 11
为什么卷积现在不火了:CNN研究热度降温的深层原因分析
|
6天前
|
机器学习/深度学习 人工智能 算法框架/工具
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
【10月更文挑战第36天】探索卷积神经网络(CNN)的神秘面纱,揭示其在图像识别领域的威力。本文将带你了解CNN的核心概念,并通过实际代码示例,展示如何构建和训练一个简单的CNN模型。无论你是深度学习的初学者还是希望深化理解,这篇文章都将为你提供有价值的见解。
|
21天前
|
机器学习/深度学习 人工智能 自动驾驶
深度学习中的卷积神经网络(CNN)及其应用
【10月更文挑战第21天】本文旨在深入探讨深度学习领域的核心组成部分——卷积神经网络(CNN)。通过分析CNN的基本结构、工作原理以及在图像识别、语音处理等领域的广泛应用,我们不仅能够理解其背后的技术原理,还能把握其在现实世界问题解决中的强大能力。文章将用浅显的语言和生动的例子带领读者一步步走进CNN的世界,揭示这一技术如何改变我们的生活和工作方式。
|
28天前
|
机器学习/深度学习 人工智能 监控
深入理解深度学习中的卷积神经网络(CNN):从原理到实践
【10月更文挑战第14天】深入理解深度学习中的卷积神经网络(CNN):从原理到实践
82 1
|
7天前
|
机器学习/深度学习 人工智能 自动驾驶
深入解析深度学习中的卷积神经网络(CNN)
深入解析深度学习中的卷积神经网络(CNN)
21 0
|
10天前
|
机器学习/深度学习 人工智能 TensorFlow
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
【10月更文挑战第32天】本文将介绍深度学习中的一个重要分支——卷积神经网络(CNN),以及其在图像识别领域的应用。我们将通过一个简单的代码示例,展示如何使用Python和TensorFlow库构建一个基本的CNN模型,并对其进行训练和测试。
|
16天前
|
机器学习/深度学习 自然语言处理 TensorFlow
深度学习中的卷积神经网络(CNN)及其应用
【10月更文挑战第26天】在这篇文章中,我们将深入探讨卷积神经网络(CNN)的基本原理、结构和应用。CNN是深度学习领域的一个重要分支,广泛应用于图像识别、语音处理等领域。我们将通过代码示例和实际应用案例,帮助读者更好地理解CNN的概念和应用。

热门文章

最新文章