【文本分类】《短文本分类的ResLCNN模型》

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 【文本分类】《短文本分类的ResLCNN模型》

·阅读摘要:

 提出基于3层LSTM和CNN网络结构的ResLCNN深度学习模型。该模型使用了3层LSTM获取文本的长距离依赖,用CNN通过卷积获取句子局部特征,同时使用了残差模型,在第1层LSTM层与CNN层之间加入恒等映射,构建残差层,缓解深层模型梯度消失问题。

·参考文献:

 [1] 短文本分类的ResLCNN模型

参考论文信息


  论文名称:《短文本分类的ResLCNN模型》

  发布期刊:《软件学报》

  期刊信息:CSCD

image.png

  本文是2017年提出的,模型较为简单,年份也比较老,感觉没太大的参考价值了。

模型结构


  模型结构如下:

image.png

1. 长短时记忆网络

  长短时记忆网络是为解决循环神经网络长距离传输中的梯度消失和梯度爆炸问题而提出来的一种改进模型。LSTM的每个单元有 4个神经网络层,分别是输入门、遗忘门 、输出门、记忆单元,它们被以一种特别的方式结合起来,得出隐藏层输出image.png

2. 卷积神经网络

  通过卷积层对单词进行卷积运算,将低级特征组合形成更高级的特征表示,可以得到更高级的特征信息,这可以直观地理解为从单词到词组的特征学习,比如学习词组 neural network的含义。然后通过池化层(max-over-time pooling),针对卷积得到的若干特征值,保留最有价值的特征。

3. ResLCNN模型

  ResLCNN模型以Word2vec和GloVe词向量构成的句子矩阵作为输入,第1层LSTM根据隐藏层和记忆单元获取文本时序特征,随后残差层包含两层 LSTM,接着 CNN层使用多个卷积核进行卷积运算,并提取最优卷积特征通过softmax分类。ResLCNN模型为了获取更复杂的特征,将3层LSTM结合CNN构建深层网络,同时在第1层LSTM输出与CNN层输入之间添加恒等映射,构建残差层缓解训练模型阶段低网络层梯度消失问题。

相关文章
|
2月前
|
机器学习/深度学习 自然语言处理 TensorFlow
使用Python实现深度学习模型:语言模型与文本生成
使用Python实现深度学习模型:语言模型与文本生成
54 5
|
3月前
|
自然语言处理 Python
使用Python实现文本分类与情感分析模型
使用Python实现文本分类与情感分析模型
85 1
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
NNLM - 神经网络语言模型 | 高效的单词预测工具
NNLM - 神经网络语言模型 | 高效的单词预测工具
74 1
|
3月前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch搭建循环神经网络(RNN)进行文本分类、预测及损失分析(对不同国家的语言单词和姓氏进行分类,附源码和数据集)
PyTorch搭建循环神经网络(RNN)进行文本分类、预测及损失分析(对不同国家的语言单词和姓氏进行分类,附源码和数据集)
177 0
|
3月前
|
机器学习/深度学习 自然语言处理 数据挖掘
预训练语言模型中Transfomer模型、自监督学习、BERT模型概述(图文解释)
预训练语言模型中Transfomer模型、自监督学习、BERT模型概述(图文解释)
90 0
|
10月前
|
机器学习/深度学习 自然语言处理
【文本分类】《基于提示学习的小样本文本分类方法》
使用P-turning提示学习,进行小样本文本分类。本文值得学习。
149 0
|
缓存 自然语言处理 测试技术
零样本文本分类——低资源场景下文本分类的利器(2)
零样本文本分类——低资源场景下文本分类的利器
|
机器学习/深度学习 自然语言处理 分布式计算
零样本文本分类——低资源场景下文本分类的利器(1)
零样本文本分类——低资源场景下文本分类的利器
|
自然语言处理 搜索推荐
|
机器学习/深度学习 自然语言处理 算法
文本分类算法TextCNN
文本分类算法TextCNN