【文本分类】《短文本分类的ResLCNN模型》

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 【文本分类】《短文本分类的ResLCNN模型》

·阅读摘要:

 提出基于3层LSTM和CNN网络结构的ResLCNN深度学习模型。该模型使用了3层LSTM获取文本的长距离依赖,用CNN通过卷积获取句子局部特征,同时使用了残差模型,在第1层LSTM层与CNN层之间加入恒等映射,构建残差层,缓解深层模型梯度消失问题。

·参考文献:

 [1] 短文本分类的ResLCNN模型

参考论文信息


  论文名称:《短文本分类的ResLCNN模型》

  发布期刊:《软件学报》

  期刊信息:CSCD

image.png

  本文是2017年提出的,模型较为简单,年份也比较老,感觉没太大的参考价值了。

模型结构


  模型结构如下:

image.png

1. 长短时记忆网络

  长短时记忆网络是为解决循环神经网络长距离传输中的梯度消失和梯度爆炸问题而提出来的一种改进模型。LSTM的每个单元有 4个神经网络层,分别是输入门、遗忘门 、输出门、记忆单元,它们被以一种特别的方式结合起来,得出隐藏层输出image.png

2. 卷积神经网络

  通过卷积层对单词进行卷积运算,将低级特征组合形成更高级的特征表示,可以得到更高级的特征信息,这可以直观地理解为从单词到词组的特征学习,比如学习词组 neural network的含义。然后通过池化层(max-over-time pooling),针对卷积得到的若干特征值,保留最有价值的特征。

3. ResLCNN模型

  ResLCNN模型以Word2vec和GloVe词向量构成的句子矩阵作为输入,第1层LSTM根据隐藏层和记忆单元获取文本时序特征,随后残差层包含两层 LSTM,接着 CNN层使用多个卷积核进行卷积运算,并提取最优卷积特征通过softmax分类。ResLCNN模型为了获取更复杂的特征,将3层LSTM结合CNN构建深层网络,同时在第1层LSTM输出与CNN层输入之间添加恒等映射,构建残差层缓解训练模型阶段低网络层梯度消失问题。

相关文章
|
机器学习/深度学习 人工智能 自然语言处理
基于非英语数据集的图形机器学习和集成学习方法增强文本分类和文本情感分析
基于非英语数据集的图形机器学习和集成学习方法增强文本分类和文本情感分析 摘要 近年来,机器学习方法,特别是图学习方法,在自然语言处理领域,特别是文本分类任务中取得了巨大的成果。然而,许多这样的模型在不同语言的数据集上显示出有限的泛化能力。在本研究中,我们在非英语数据集(如波斯语Digikala数据集)上研究并阐述了图形机器学习方法,该方法由用户对文本分类任务的意见组成。更具体地说,我们研究了(Pars)BERT与各种图神经网络(GNN)架构(如GCN、GAT和GIN)的不同组合,并使用集成学习方法来处理某些知名的非英语数据集上的文本分类任务。我们的分析和结果表明,应用GNN模型可以更好地捕捉文
125 0
|
8月前
|
自然语言处理 Python
使用Python实现文本分类与情感分析模型
使用Python实现文本分类与情感分析模型
115 1
|
机器学习/深度学习 自然语言处理
【文本分类】《基于提示学习的小样本文本分类方法》
使用P-turning提示学习,进行小样本文本分类。本文值得学习。
211 0
|
自然语言处理 搜索推荐
|
机器学习/深度学习 自然语言处理 分布式计算
零样本文本分类——低资源场景下文本分类的利器(1)
零样本文本分类——低资源场景下文本分类的利器
|
缓存 自然语言处理 测试技术
零样本文本分类——低资源场景下文本分类的利器(2)
零样本文本分类——低资源场景下文本分类的利器
|
机器学习/深度学习 自然语言处理 算法
SnowNLP使用自定义语料进行模型训练(情感分析)
SnowNLP使用自定义语料进行模型训练(情感分析)
1893 1
SnowNLP使用自定义语料进行模型训练(情感分析)
|
机器学习/深度学习 自然语言处理 算法
【文本分类】《融合知识感知与双重注意力的短文本分类模型》
【文本分类】《融合知识感知与双重注意力的短文本分类模型》
261 0
【文本分类】《融合知识感知与双重注意力的短文本分类模型》
|
机器学习/深度学习 算法
【文本分类】基于BERT预训练模型的灾害推文分类方法、基于BERT和RNN的新闻文本分类对比
【文本分类】基于BERT预训练模型的灾害推文分类方法、基于BERT和RNN的新闻文本分类对比
226 0
【文本分类】基于BERT预训练模型的灾害推文分类方法、基于BERT和RNN的新闻文本分类对比
|
机器学习/深度学习 算法
【论文写作分析】之五《融合类别特征扩展与N-gram子词过滤的fastText短文本分类》
【论文写作分析】之五《融合类别特征扩展与N-gram子词过滤的fastText短文本分类》
【论文写作分析】之五《融合类别特征扩展与N-gram子词过滤的fastText短文本分类》

热门文章

最新文章