【文本分类】基于BERT预训练模型的灾害推文分类方法、基于BERT和RNN的新闻文本分类对比

简介: 【文本分类】基于BERT预训练模型的灾害推文分类方法、基于BERT和RNN的新闻文本分类对比

·阅读摘要: 两篇论文,第一篇发表于《图学学报》,《图学学报》是核心期刊;第二篇发表于《北京印刷学院学报》,《北京印刷学院学报》没有任何标签。

·参考文献:

 [1]林佳瑞,程志刚,韩宇,尹云鹏.基于BERT预训练模型的灾害推文分类方法[J/OL].图学学报:1-8[2022-01-17].http://kns.cnki.net/kcms/detail/10.1034.T.20220106.1131.002.html.

 [2]林德萍,汪红娟.基于BERT和RNN的新闻文本分类对比[J].北京印刷学院学报,2021,29(11):156-162.DOI:10.19461/j.cnki.1004-8626.2021.11.044.

[0] 阅读后感:


  不同的期刊所登论文的质量还是蛮大的。第一篇写的有理有据,特别是实验设计那里说的很清楚。第二篇就是介绍了Bert,根本没有说它是如何利用Bert做实验的,论文质量很差。

[1] 基于BERT预训练模型的灾害推文分类方法


  主要是对Bert进行微调,再接上不同的分类器模型,应用于Kaggle上面的一个灾害推文数据集。

image.png

  最终作者得出的结论是:1)基于BERT预训练模型的深度学习方法比普通神经网络要好;2)是否加入dropout层及批量大小对本任务的模型性能有一定影响。3)用代表整个句子的词向量作为后续分类算法的输入效果最优;

[2] 基于BERT和RNN的新闻文本分类对比


  本文什么都没说。

相关文章
|
10月前
|
机器学习/深度学习 数据采集 人工智能
35_BERT与RoBERTa:优化编码器模型
2018年,Google发布的BERT(Bidirectional Encoder Representations from Transformers)模型彻底改变了自然语言处理领域的格局。作为第一个真正意义上的双向预训练语言模型,BERT通过创新的掩码语言模型(Masked Language Model, MLM)预训练策略,使模型能够同时从左右两侧的上下文信息中学习语言表示,从而在多项NLP任务上取得了突破性进展。
814 0
|
存储 机器学习/深度学习 自然语言处理
避坑指南:PAI-DLC分布式训练BERT模型的3大性能优化策略
本文基于电商搜索场景下的BERT-Large模型训练优化实践,针对数据供给、通信效率与计算资源利用率三大瓶颈,提出异步IO流水线、梯度压缩+拓扑感知、算子融合+混合精度等策略。实测在128卡V100集群上训练速度提升3.2倍,GPU利用率提升至89.3%,训练成本降低70%。适用于大规模分布式深度学习任务的性能调优。
664 3
|
机器学习/深度学习 人工智能 自然语言处理
昇腾AI行业案例(四):基于 Bert 模型实现文本分类
欢迎学习《昇腾行业应用案例》的“基于 Bert 模型实现文本分类”实验。在本实验中,您将学习如何使用利用 NLP (natural language processing) 领域的AI模型来构建一个端到端的文本系统,并使用开源数据集进行效果验证。为此,我们将使用昇腾的AI硬件以及CANN等软件产品。
1329 0
|
机器学习/深度学习 自然语言处理
预训练语言模型:从BERT到GPT,NLP的新纪元
自然语言处理(NLP)近年来因预训练语言模型(PLMs)的崛起而发生巨大变革。BERT和GPT等模型在学术与工业界取得突破性进展。本文探讨PLMs原理、发展历程及其实际应用,涵盖文本分类、命名实体识别、问答系统等场景,并通过实战案例展示如何使用这些强大的工具解决复杂的NLP任务。
|
机器学习/深度学习 人工智能 自然语言处理
【大语言模型-论文精读】谷歌-BERT:用于语言理解的预训练深度双向Transformers
【大语言模型-论文精读】谷歌-BERT:用于语言理解的预训练深度双向Transformers
|
机器学习/深度学习 自然语言处理 知识图谱
|
机器学习/深度学习 自然语言处理 算法
[大语言模型-工程实践] 手把手教你-基于BERT模型提取商品标题关键词及优化改进
[大语言模型-工程实践] 手把手教你-基于BERT模型提取商品标题关键词及优化改进
|
PyTorch 算法框架/工具
Bert Pytorch 源码分析:五、模型架构简图 REV1
Bert Pytorch 源码分析:五、模型架构简图 REV1
454 0
|
PyTorch 算法框架/工具
Bert Pytorch 源码分析:五、模型架构简图
Bert Pytorch 源码分析:五、模型架构简图
328 0

热门文章

最新文章