【论文写作分析】之六《基于WordVec和改进注意力机制AlexNet-2的文本分类方法》

简介: 【论文写作分析】之六《基于WordVec和改进注意力机制AlexNet-2的文本分类方法》

[1] 参考论文信息


  论文名称:《基于WordVec和改进注意力机制AlexNet-2的文本分类方法》

  发布期刊:《计算机科学》

  期刊信息:CSCD扩展

image.png

  论文写作分析摘要:

  从内容上看,本文没有创新之处。

【注】:这种论文都能发CSCD扩展??

  论文说了两个创新点:

  1、本文对AlexNet-2网络进行优化,降低了模型参数的数量,支持更快的训练和学习。

  2、在方法架构中添加了注意力机制,开始向每个输入赋予初始权重,并根据每个输入与最终预测结果的相关性,在训练过程中对这些权重进行调整。

【注】:但是,对AlexNet-2网络进行优化,只是在AlexNet-2基础上加了一些网络层,模型参数是变多了的,不知道为什么速度会快?其次,添加了注意力机制,也只是一笔带过。

[2] 参考论文分解


  【AlexNet-2模型】

  模型图如下:

image.png

  上图左边是AlexNet-2原始模型,右边是“优化后的AlexNet-2”模型。嗯……大家自己品,这也叫改进模型了……他甚至不愿意画个模型图……

  【注意力机制】

ac8aa11c634a4f20804e9eca54b93c22.png

  全文对注意力机制只有这么多描述。也没有示意图。

  【实验结果】

image.png

 这些baseline我觉得是没有说服力的,CNN、RCNN、DPCNN啥模型都没有。

最后,我觉得论文的名字有误导性。《基于WordVec和改进注意力机制AlexNet-2的文本分类方法》,改进的到底是注意力机制、还是ALexNet-2?他这样起名字,可能是想混在一起。

相关文章
|
机器学习/深度学习 网络架构 计算机视觉
UNet详细解读(一)论文技术要点归纳
UNet详细解读(一)论文技术要点归纳
220 0
|
17天前
|
机器学习/深度学习 算法 网络架构
神经网络架构殊途同归?ICML 2024论文:模型不同,但学习内容相同
【8月更文挑战第3天】《神经语言模型的缩放定律》由OpenAI研究人员完成并在ICML 2024发表。研究揭示了模型性能与大小、数据集及计算资源间的幂律关系,表明增大任一资源均可预测地提升性能。此外,论文指出模型宽度与深度对性能影响较小,较大模型在更多数据上训练能更好泛化,且能高效利用计算资源。研究提供了训练策略建议,对于神经语言模型优化意义重大,但也存在局限性,需进一步探索。论文链接:[https://arxiv.org/abs/2001.08361]。
18 1
|
3月前
|
编解码 算法 测试技术
【论文精读】ICLR2022 - 语言驱动的语义分割
【论文精读】ICLR2022 - 语言驱动的语义分割
|
机器学习/深度学习 Web App开发 数据挖掘
经典神经网络论文超详细解读(七)——SENet(注意力机制)学习笔记(翻译+精读+代码复现)
经典神经网络论文超详细解读(七)——SENet(注意力机制)学习笔记(翻译+精读+代码复现)
2015 1
经典神经网络论文超详细解读(七)——SENet(注意力机制)学习笔记(翻译+精读+代码复现)
|
机器学习/深度学习 编解码 算法框架/工具
经典神经网络论文超详细解读(八)——ResNeXt学习笔记(翻译+精读+代码复现)
经典神经网络论文超详细解读(八)——ResNeXt学习笔记(翻译+精读+代码复现)
423 1
经典神经网络论文超详细解读(八)——ResNeXt学习笔记(翻译+精读+代码复现)
|
机器学习/深度学习 数据采集 监控
经典神经网络论文超详细解读(六)——DenseNet学习笔记(翻译+精读+代码复现)
经典神经网络论文超详细解读(六)——DenseNet学习笔记(翻译+精读+代码复现)
1790 1
经典神经网络论文超详细解读(六)——DenseNet学习笔记(翻译+精读+代码复现)
|
12月前
|
机器学习/深度学习 资源调度 算法
深度学习原理篇 第六章:DETR
简要介绍DETR的原理和代码实现。
450 0
|
11月前
|
机器学习/深度学习 数据采集 人工智能
头疼!卷积神经网络是什么?CNN结构、训练与优化一文全解
头疼!卷积神经网络是什么?CNN结构、训练与优化一文全解
75 0
|
12月前
|
机器学习/深度学习 Shell 数据处理
深度学习原理篇 第九章:UP-DETR
简要介绍UP-DETR的原理和代码实现。
182 0
|
12月前
|
机器学习/深度学习 Windows
深度学习原理篇 第三章:SWIN-transformer
简要介绍swin-transformer的原理。
333 0