【文本分类】《融合注意力和剪裁机制的通用文本分类模型》

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 【文本分类】《融合注意力和剪裁机制的通用文本分类模型》

·阅读摘要:

 针对实际场景中长短文本大量的情况,提出了双通道注意力机制与长文本裁剪机制来改进文本分类模型,最终提高了精度。

·参考文献:

 [1] 融合注意力和剪裁机制的通用文本分类模型

参考论文信息


  论文名称:《融合注意力和剪裁机制的通用文本分类模型》

  发布期刊:《计算机应用》

  期刊信息:CSCD扩展

image.png

  本文主要是针对数据集中长文本和短文本互相混和的情况,设计了一些改进。主要有六:

  ·词向量表示模块

  ·卷积神经网络模块

  ·双通道注意力模块

  ·长文本裁剪模块

  ·循环神经网络模块

  ·融合分类模块

  其中,值得说的是双通道注意力模块长文本裁剪模块,其他的模块都是比较基础的。

模型结构


  模型结构如下:

image.png

【注】:这个网络结构,我只能说是“简单的复杂”。纯把数据倒来倒去,然后拼接在一起,做个分类。它做了这么多工作,其实很有可能会产生debuff,甚至不如直接在BERT后面接个分类结果好。但是实践出真知,我持保留意见。


【注】:上面的模型除了数据倒来倒去,原理还是较为简单的,双通道注意力模块与长文本裁剪模块值得看一下。

  ·双通道注意力模块

image.png

  比较好理解,平均池化、最大池化、LSTM、激活、拼接……

【注】:1、我感觉“注意力”这个词,已经被用的完全背离它原始的定义了,现在什么都叫注意力;2、再说一次,步骤搞的这么多,真的不会产生负效果吗。

  ·长文本裁剪模块

image.png

  对于双通道注意力机制的输出,根据一定的阈值,把它们变成0-1值(二值化),这叫做阈值阶段

  连通分量筛选没看懂,如下:

image.png

  最后把连通分量筛选的结果和BERT+LSTM的结果点乘,最后再结果一系列操作……

【注】:这么多乱七八糟的操作,真的不会影响文本的实际表示吗…………

相关文章
|
4月前
|
存储 人工智能 自然语言处理
|
4月前
|
机器学习/深度学习 算法 机器人
【论文速递】TMM2023 - FECANet:用特征增强的上下文感知网络增强小样本语义分割
【论文速递】TMM2023 - FECANet:用特征增强的上下文感知网络增强小样本语义分割
|
3月前
|
机器学习/深度学习 编解码 自然语言处理
一文综述 | 万字文总结,近几年都有哪些语义分割模型用了Transformer方法呢?
一文综述 | 万字文总结,近几年都有哪些语义分割模型用了Transformer方法呢?
128 0
|
4月前
|
机器学习/深度学习 自然语言处理 数据挖掘
AIGC基础模型——深度变分自编码(VAE)
【1月更文挑战第23天】AIGC基础模型——深度变分自编码(VAE)
53 1
AIGC基础模型——深度变分自编码(VAE)
|
5月前
|
机器学习/深度学习 运维 自然语言处理
揭示堆叠自动编码器的强大功能 - 最新深度学习技术
揭示堆叠自动编码器的强大功能 - 最新深度学习技术
43 0
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
多模态对比语言图像预训练CLIP:打破语言与视觉的界限
多模态对比语言图像预训练CLIP:打破语言与视觉的界限
多模态对比语言图像预训练CLIP:打破语言与视觉的界限
|
10月前
|
算法 数据挖掘 计算机视觉
在对比学习中引入显式跨图像相似度建模能力,中南大学显著提高无监督表征的泛化能力(2)
在对比学习中引入显式跨图像相似度建模能力,中南大学显著提高无监督表征的泛化能力
|
10月前
|
机器学习/深度学习 算法 计算机视觉
在对比学习中引入显式跨图像相似度建模能力,中南大学显著提高无监督表征的泛化能力(1)
在对比学习中引入显式跨图像相似度建模能力,中南大学显著提高无监督表征的泛化能力
102 0
|
11月前
|
机器学习/深度学习 存储 缓存
深度学习应用篇-计算机视觉-视频分类8:时间偏移模块(TSM)、TimeSformer无卷积视频分类方法、注意力机制
深度学习应用篇-计算机视觉-视频分类8:时间偏移模块(TSM)、TimeSformer无卷积视频分类方法、注意力机制
深度学习应用篇-计算机视觉-视频分类8:时间偏移模块(TSM)、TimeSformer无卷积视频分类方法、注意力机制
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习应用篇-自然语言处理[10]:N-Gram、SimCSE介绍,更多技术:数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等
深度学习应用篇-自然语言处理[10]:N-Gram、SimCSE介绍,更多技术:数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等

热门文章

最新文章