【论文写作分析】之六《基于WordVec和改进注意力机制AlexNet-2的文本分类方法》

简介: 【论文写作分析】之六《基于WordVec和改进注意力机制AlexNet-2的文本分类方法》

[1] 参考论文信息


  论文名称:《基于WordVec和改进注意力机制AlexNet-2的文本分类方法》

  发布期刊:《计算机科学》

  期刊信息:CSCD扩展

image.png

  论文写作分析摘要:

  从内容上看,本文没有创新之处。

【注】:这种论文都能发CSCD扩展??

  论文说了两个创新点:

  1、本文对AlexNet-2网络进行优化,降低了模型参数的数量,支持更快的训练和学习。

  2、在方法架构中添加了注意力机制,开始向每个输入赋予初始权重,并根据每个输入与最终预测结果的相关性,在训练过程中对这些权重进行调整。

【注】:但是,对AlexNet-2网络进行优化,只是在AlexNet-2基础上加了一些网络层,模型参数是变多了的,不知道为什么速度会快?其次,添加了注意力机制,也只是一笔带过。

[2] 参考论文分解


  【AlexNet-2模型】

  模型图如下:

image.png

  上图左边是AlexNet-2原始模型,右边是“优化后的AlexNet-2”模型。嗯……大家自己品,这也叫改进模型了……他甚至不愿意画个模型图……

  【注意力机制】

ac8aa11c634a4f20804e9eca54b93c22.png

  全文对注意力机制只有这么多描述。也没有示意图。

  【实验结果】

image.png

 这些baseline我觉得是没有说服力的,CNN、RCNN、DPCNN啥模型都没有。

最后,我觉得论文的名字有误导性。《基于WordVec和改进注意力机制AlexNet-2的文本分类方法》,改进的到底是注意力机制、还是ALexNet-2?他这样起名字,可能是想混在一起。

相关文章
|
机器学习/深度学习 网络架构 计算机视觉
UNet详细解读(一)论文技术要点归纳
UNet详细解读(一)论文技术要点归纳
288 0
|
2月前
|
机器学习/深度学习 人工智能
类人神经网络再进一步!DeepMind最新50页论文提出AligNet框架:用层次化视觉概念对齐人类
【10月更文挑战第18天】这篇论文提出了一种名为AligNet的框架,旨在通过将人类知识注入神经网络来解决其与人类认知的不匹配问题。AligNet通过训练教师模型模仿人类判断,并将人类化的结构和知识转移至预训练的视觉模型中,从而提高模型在多种任务上的泛化能力和稳健性。实验结果表明,人类对齐的模型在相似性任务和出分布情况下表现更佳。
71 3
|
4月前
|
机器学习/深度学习 算法 网络架构
神经网络架构殊途同归?ICML 2024论文:模型不同,但学习内容相同
【8月更文挑战第3天】《神经语言模型的缩放定律》由OpenAI研究人员完成并在ICML 2024发表。研究揭示了模型性能与大小、数据集及计算资源间的幂律关系,表明增大任一资源均可预测地提升性能。此外,论文指出模型宽度与深度对性能影响较小,较大模型在更多数据上训练能更好泛化,且能高效利用计算资源。研究提供了训练策略建议,对于神经语言模型优化意义重大,但也存在局限性,需进一步探索。论文链接:[https://arxiv.org/abs/2001.08361]。
56 1
|
5月前
|
机器学习/深度学习
ICML 2024:揭示非线形Transformer在上下文学习中学习和泛化的机制
【7月更文挑战第10天】Rensselaer Polytechnic Institute和IBM的研究者探讨了非线性Transformer在上下文学习的理论基础。他们展示了Transformer如何通过注意力层聚焦相关上下文,并利用MLP层进行预测,揭示了其在不需微调情况下的泛化能力。尽管研究局限于二进制分类和单层模型,它为理解复杂模型在不同任务和领域的潜在适应性提供了新视角。[论文链接:](https://arxiv.org/pdf/2402.15607)**
49 1
|
7月前
|
机器学习/深度学习 数据可视化 计算机视觉
【YOLOv8改进】MCA:用于图像识别的深度卷积神经网络中的多维协作注意力 (论文笔记+引入代码)
YOLO目标检测专栏介绍了YOLO的创新改进和实战案例,包括多维协作注意力(MCA)机制,它通过三分支架构同时处理通道、高度和宽度注意力,提高CNN性能。MCA设计了自适应组合和门控机制,增强特征表示,且保持轻量化。该模块适用于各种CNN,实验证明其在图像识别任务上的优越性。此外,文章还展示了如何在YOLOv8中引入MCA层的代码实现和相关任务配置。
|
机器学习/深度学习 Web App开发 数据挖掘
经典神经网络论文超详细解读(七)——SENet(注意力机制)学习笔记(翻译+精读+代码复现)
经典神经网络论文超详细解读(七)——SENet(注意力机制)学习笔记(翻译+精读+代码复现)
2668 1
经典神经网络论文超详细解读(七)——SENet(注意力机制)学习笔记(翻译+精读+代码复现)
|
机器学习/深度学习 计算机视觉
深度学习原理篇 第七章:Deformable DETR
简要介绍Deformable DETR的原理和代码实现。
1547 1
|
网络架构 计算机视觉
UNet++详细解读(一)论文技术要点归纳
UNet++详细解读(一)论文技术要点归纳
369 0
|
异构计算
ICLR 2023 | DIFFormer: 扩散过程启发的Transformer(2)
ICLR 2023 | DIFFormer: 扩散过程启发的Transformer
217 0
|
机器学习/深度学习
ICLR 2023 | DIFFormer: 扩散过程启发的Transformer(1)
ICLR 2023 | DIFFormer: 扩散过程启发的Transformer
147 0