【文本分类】ACT: an Attentive Convolutional Transformer for Efficient Text Classification

简介: 【文本分类】ACT: an Attentive Convolutional Transformer for Efficient Text Classification

·阅读摘要:

 本文在Transformer模型的基础上,提出改进方案,把Transformer里面的自注意力机制,改成CNN。

·参考文献:

 [1] ACT: an Attentive Convolutional Transformer for Efficient Text Classification

【注】:众所周知,Transformer是超越RNN、CNN的模型,Transformer中最有新意的就是不使用RNN、CNN,而使用自注意力机制,从而使得Transformer模型表现卓越。

  而本文提出的ACT模型就是把Transformer中的自注意力机制替换成CNN,我觉得这篇论文是否有意义,其实应该和Transformer的作者battle一下,哈哈。

[1] ACT模型


  先看一下Transformer模型:

207a502092bf42728cb36b7f3481ed18.jpg

  再看ACT模型:

image.png

  所以说,ACT模型只是把TransformerScaled Dot-Product Attention模块换成了attentive convolution mechanism

  对于attentive convolution mechanism模块,主要就是CNN加了一个Global feature representation

【注】:说白了就是普通的CNN是卷积–>池化;而论文提出的CNN是卷积+池化,其中卷积部分称为提取局部信息,池化部分称为提取全局信息。


目录
打赏
0
0
0
0
174
分享
相关文章
[FastText in Text Classification]论文实现:Bag of Tricks for Efficient Text Classification
[FastText in Text Classification]论文实现:Bag of Tricks for Efficient Text Classification
55 2
SIFRank New Baseline for Unsupervised Keyphrase Extraction Based on Pre-Trained Language Model
在社交媒体上,面临着大量的知识和信息,一个有效的关键词抽取算法可以广泛地被应用的信息检索和自然语言处理中。传统的关键词抽取算法很难使用外部的知识信息。
183 0
SIFRank New Baseline for Unsupervised Keyphrase Extraction Based on Pre-Trained Language Model
【论文解读】Co-attention network with label embedding for text classification
华南理工出了一篇有意思的文章,将标签和文本进行深度融合,最终形成带标签信息的文本表示和带文本信息的标签表示。
292 1
DeIT:Training data-efficient image transformers & distillation through attention论文解读
最近,基于注意力的神经网络被证明可以解决图像理解任务,如图像分类。这些高性能的vision transformer使用大量的计算资源来预训练了数亿张图像,从而限制了它们的应用。
593 0
SimCSE: Simple Contrastive Learning of Sentence Embeddings论文解读
本文介绍了SimCSE,一个简单的对比学习框架,极大地推进了最先进的句子嵌入。我们首先描述了一种无监督方法,该方法采用一个输入句子,并在一个对比目标中预测自己
347 0
【论文解读】Dual Contrastive Learning:Text Classification via Label-Aware Data Augmentation
北航出了一篇比较有意思的文章,使用标签感知的数据增强方式,将对比学习放置在有监督的环境中 ,下游任务为多类文本分类,在低资源环境中进行实验取得了不错的效果
522 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等