【论文写作分析】之六《基于WordVec和改进注意力机制AlexNet-2的文本分类方法》

简介: 【论文写作分析】之六《基于WordVec和改进注意力机制AlexNet-2的文本分类方法》

[1] 参考论文信息


  论文名称:《基于WordVec和改进注意力机制AlexNet-2的文本分类方法》

  发布期刊:《计算机科学》

  期刊信息:CSCD扩展

image.png

  论文写作分析摘要:

  从内容上看,本文没有创新之处。

【注】:这种论文都能发CSCD扩展??

  论文说了两个创新点:

  1、本文对AlexNet-2网络进行优化,降低了模型参数的数量,支持更快的训练和学习。

  2、在方法架构中添加了注意力机制,开始向每个输入赋予初始权重,并根据每个输入与最终预测结果的相关性,在训练过程中对这些权重进行调整。

【注】:但是,对AlexNet-2网络进行优化,只是在AlexNet-2基础上加了一些网络层,模型参数是变多了的,不知道为什么速度会快?其次,添加了注意力机制,也只是一笔带过。

[2] 参考论文分解


  【AlexNet-2模型】

  模型图如下:

image.png

  上图左边是AlexNet-2原始模型,右边是“优化后的AlexNet-2”模型。嗯……大家自己品,这也叫改进模型了……他甚至不愿意画个模型图……

  【注意力机制】

ac8aa11c634a4f20804e9eca54b93c22.png

  全文对注意力机制只有这么多描述。也没有示意图。

  【实验结果】

image.png

 这些baseline我觉得是没有说服力的,CNN、RCNN、DPCNN啥模型都没有。

最后,我觉得论文的名字有误导性。《基于WordVec和改进注意力机制AlexNet-2的文本分类方法》,改进的到底是注意力机制、还是ALexNet-2?他这样起名字,可能是想混在一起。

相关文章
|
3月前
|
机器学习/深度学习 算法 网络架构
神经网络架构殊途同归?ICML 2024论文:模型不同,但学习内容相同
【8月更文挑战第3天】《神经语言模型的缩放定律》由OpenAI研究人员完成并在ICML 2024发表。研究揭示了模型性能与大小、数据集及计算资源间的幂律关系,表明增大任一资源均可预测地提升性能。此外,论文指出模型宽度与深度对性能影响较小,较大模型在更多数据上训练能更好泛化,且能高效利用计算资源。研究提供了训练策略建议,对于神经语言模型优化意义重大,但也存在局限性,需进一步探索。论文链接:[https://arxiv.org/abs/2001.08361]。
42 1
|
机器学习/深度学习 编解码 算法
经典神经网络论文超详细解读(四)——InceptionV2-V3学习笔记(翻译+精读+代码复现)
经典神经网络论文超详细解读(四)——InceptionV2-V3学习笔记(翻译+精读+代码复现)
189 0
经典神经网络论文超详细解读(四)——InceptionV2-V3学习笔记(翻译+精读+代码复现)
|
机器学习/深度学习 Web App开发 数据挖掘
经典神经网络论文超详细解读(七)——SENet(注意力机制)学习笔记(翻译+精读+代码复现)
经典神经网络论文超详细解读(七)——SENet(注意力机制)学习笔记(翻译+精读+代码复现)
2389 1
经典神经网络论文超详细解读(七)——SENet(注意力机制)学习笔记(翻译+精读+代码复现)
|
机器学习/深度学习 编解码 算法框架/工具
经典神经网络论文超详细解读(八)——ResNeXt学习笔记(翻译+精读+代码复现)
经典神经网络论文超详细解读(八)——ResNeXt学习笔记(翻译+精读+代码复现)
537 1
经典神经网络论文超详细解读(八)——ResNeXt学习笔记(翻译+精读+代码复现)
|
机器学习/深度学习 数据采集 监控
经典神经网络论文超详细解读(六)——DenseNet学习笔记(翻译+精读+代码复现)
经典神经网络论文超详细解读(六)——DenseNet学习笔记(翻译+精读+代码复现)
2369 1
经典神经网络论文超详细解读(六)——DenseNet学习笔记(翻译+精读+代码复现)
|
机器学习/深度学习 资源调度 算法
深度学习原理篇 第六章:DETR
简要介绍DETR的原理和代码实现。
531 0
|
机器学习/深度学习 计算机视觉
深度学习原理篇 第七章:Deformable DETR
简要介绍Deformable DETR的原理和代码实现。
1319 1
|
机器学习/深度学习 自然语言处理 算法
【论文解读】文本分类上分利器:Bert微调trick大全
【论文解读】文本分类上分利器:Bert微调trick大全
900 0
【论文解读】文本分类上分利器:Bert微调trick大全
|
机器学习/深度学习 Shell 数据处理
深度学习原理篇 第九章:UP-DETR
简要介绍UP-DETR的原理和代码实现。
222 0
|
机器学习/深度学习 Windows
深度学习原理篇 第三章:SWIN-transformer
简要介绍swin-transformer的原理。
432 0