【文本分类】Deep Pyramid Convolutional Neural Networks for Text Categorization

简介: 【文本分类】Deep Pyramid Convolutional Neural Networks for Text Categorization

·阅读摘要:

 本文提出了DPCNN(深度金字塔CNN)模型。在transformer、bert还没兴起的年代,模型越深效果越好,但是模型的复杂度会随着深度提升。粗略地说,DPCNN就是为了解决CNN模型越深复杂度越高的导致计算成本高这一问题的。

·参考文献:

 [1] Deep Pyramid Convolutional Neural Networks for Text Categorization

[0] 摘要


  论文提出了一种低复杂度单词级别的深度卷积神经网络(DPCNN),用于文本分类。

  模型的复杂度会随着神经网络深度的深入而增加;在大数据集上,浅层的词级CNN比深层字级CNN更快更好。

  DPCNN综合二者,在使用词级CNN的基础上,提出一种效果等同于深层神经网络的浅层神经网络。使得DPCNN有着深层CNN的效果,但是训练起来可以接受。

[1] 介绍


  RNN、CNN都可以利用句子中的词序来训练模型。

【注一】:CNN利用词序,是本文作者发表的另一篇论文《Effective use of word order for text categorization with convolutional neural networks》

  虽然CNN、RNN都能利用词序信息,但是CNN可以并行处理数据,这更吸引作者。

  研究表明,深层字级cnn优于浅层字级cnn,浅层词级cnn优于深层字级cnn。词的向量表示效果显著。

【注二】:词的向量表示即以词为单位来做embedding层,虽然词的个数特别多,但是训练时使用的30K个常用词就占数据集总词量的98%

  在这些基础上,论文提出一个 深但低复杂度 的网络结构,叫做DPCNN。它的总计算时间在常数范围内。

  DPCNN架构简单地交替一个卷积块和一个池化层,池化层会导致内部数据大小以金字塔形状收缩。这个网络的计算复杂度被限制为不超过一个卷积块的两倍。,随着网络的深化,“金字塔”能够有效地发现文本中的长距离关联。

【注三】:论文使用步长为2的池化层,这样每经过一次池化层,数据就会缩减一半。

【注四】:大小为3、步长为2的池化层,是常用的设置,这里论文中说成“金字塔”形状,可见作者写故事的能力不赖呀 哈哈。(只是调侃)

[2] 模型


  DPCNN模型有几个关键词:

  1、the number of the feature maps fixed

  2、shortcut connections with pre-activation

  3、no need for dimension matching

  4、text region embedding

  DPCNN模型如下图,以上关键词在叙述模型中介绍。

image.png

  模型图从下往上看,一个文本有word embedding的表示,对应于图中的【Unsupervised embeddings】

 图中的【Region embedding】是对一个文本(比如3gram)进行一组卷积操作后生成的embedding。初始的embedding表示那里,论文采用了 “tv-embedding training”(还没有了解过),之后变成【Region embedding】就是对3元语法的一个卷积,把相邻的三个词的embedding卷积。

【注五】:今天看来这里可以直接使用预训练的词向量,特别是基于bert来微调

  之后在模型主干上,经过两次卷积(会有padding操作)、激活(relu),然后使用shortcut connections把原先的X与F(x)相加,作为下一层的输入。

  此处,论文说的是shortcut connections with pre-activation,即预先激活的shortcut连接。就是说在模型主干的两个卷积层上先做激活(relu),然后直接加上x即image.png

;而不是在模型主干的两个卷积层上走完加上x后激活,即image.png

【注六】:这他喵的不就是resNet的残差链接吗?非要说成shortcut connections with pre-activation。。。。

  然后会进入一个循环的“池化-卷积块”。这里论文提到,feature map(可以认为是filter)的数量是固定的,这有利于做“池化-卷积块”内部的shortcut connections,也有利于模型加深而不提高复杂度。参考论文给的图c(下图右边),可以看到,模型加深往往伴随feature map数量的增多,而本篇论文中固定了feature map数量。

image.png

  假设一次训练,数据走到【Repeat】部分前,batch=128,len=32,filter=250。

  第一次循环:经过Pooling(size为3、步长为2,导致数据缩减一半),那么

len=len/2=16,得到x xx[128,16,250]。主干部分经过2个卷积(还有padding)变成p x pxpx[128,16,250],但是它的形状没有变。最后x = p x + x x=px+x=px+x为[128,16,250],直接相加形状也没变。

    第二次循环:同理,变为[128,8,250]。

  第三次循环:同理,变为[128,4,250]。

  第四次循环:同理,变为[128,2,250]。

  第五次循环:同理,变为[128,1,250]。此时不在循环,接个fc就可以分类输出了。

目录
打赏
0
0
0
0
176
分享
相关文章
使用深度学习模型进行情感分析!!!
本文介绍了如何使用深度学习模型进行中文情感分析。首先导入了必要的库,包括`transformers`、`pandas`、`jieba`和`re`。然后定义了一个`SentimentAnalysis`类,用于处理数据、加载真实标签和评估模型准确性。在主函数中,使用预训练的情感分析模型对处理后的数据进行预测,并计算模型的准确性。
280 0
从零开始构建nlp情感分析模型!
本教程介绍了如何使用PyTorch和Hugging Face的Transformers库构建一个情感分析模型。主要内容包括导入所需库、读取训练数据集、加载预训练的BERT模型和分词器、定义情感数据集类、划分训练集和验证集、创建数据加载器、设置训练参数、训练模型、评估模型性能以及定义和测试预测函数。通过这些步骤,可以实现一个简单而有效的情感分析模型。
772 2
剖析 Redis List 消息队列的三种消费线程模型
Redis 列表(List)是一种简单的字符串列表,它的底层实现是一个双向链表。 生产环境,很多公司都将 Redis 列表应用于轻量级消息队列 。这篇文章,我们聊聊如何使用 List 命令实现消息队列的功能以及剖析消费者线程模型 。
202 20
剖析 Redis List 消息队列的三种消费线程模型
就AI 基础设施的演进与挑战问题之大模型推理中显存瓶颈的问题如何解决
就AI 基础设施的演进与挑战问题之大模型推理中显存瓶颈的问题如何解决
163 0
4. salt-api请求salt-minion执行任务 tornado超时报错
4. salt-api请求salt-minion执行任务 tornado超时报错
总有一个是你想要的分享31个游戏源代码
该资源分享了31款游戏源代码,包括C#版植物大战僵尸、HTML5版五子棋等,均经过亲测可运行。下载链接中还包含13款游戏源码,适合游戏开发者和爱好者学习参考。作者辛苦整理,希望得到您的点赞与关注作为支持。
475 1
|
11月前
|
基于Vue2.0仿Element UI的el-tooltip实现一个气泡框组件,支持多数据类型的显示和内容为空时不显示气泡框
该文章介绍了如何基于Vue2.0仿照Element UI的el-tooltip组件实现一个自定义的气泡框组件,该组件能够根据内容是否为空智能显示或隐藏,支持多种数据类型的显示。
258 0
基于Vue2.0仿Element UI的el-tooltip实现一个气泡框组件,支持多数据类型的显示和内容为空时不显示气泡框
PowerDesigner16.5逆向工程导入
本文介绍了如何通过现有数据库或SQL将数据逆向导入PowerDesigner。首先,需下载并安装PowerDesigner 16.5(32位),并通过指定链接获取软件及教程。接着,安装对应的MySQL ODBC驱动,配置ODBC数据源。最后,在PowerDesigner中通过文件>反向工程>database选项导入数据库。若环境不匹配,可直接导入SQL脚本文件。文中提供了详细步骤与截图指导。
285 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问