【论文写作分析】之一 《基于混合注意力Seq2seq模型的选项多标签分类》

简介: 【论文写作分析】之一 《基于混合注意力Seq2seq模型的选项多标签分类》

[1] 参考论文信息


  论文名称:《基于混合注意力Seq2seq模型的选项多标签分类》

  发布期刊:《计算机工程与应用》

  期刊信息:CSCD扩展

image.png

  论文写作分析摘要:本文非常典型,把几个模型里的亮点抽出缝合在一起,然后放在一个从来没使用过的领域上跑。这种写法简直就是我的理想型。

[2] 参考论文分解


  这篇论文的支撑点有二:模型新领域

[2.1] 从模型来看

  先看一下论文给出的模型:

image.png

  模型使用到的点有:

  1、混合注意力机制+Seq2Seq模型(Hybrid Attention of Seq2seq Model)

  2、多头自注意力机制(Multi-Head self-Attention)

  3、标签嵌入(Label-Embedding)

  4、掩码模块(Masked Softmax)

  开始分析:

  本文模型是另外三篇论文的融合,分别是:

  1、《SGM: Sequence Generation Model for Multi-Label Classification》提出的模型和本文提出的模型不能说相差不大,只能说一模一样。本文是在SGM模型的基础上改动的。

   2、SGM是注意力机制,本文是混合注意力机制+多头自注意力机制,混合注意力机制来自《Semantic-Unit-Based Dilated Convolution for Multi-Label Text Classification》,多头自注意力机制来自《Attention is All You Need》。

  3、SGM是全局嵌入,本文是标签嵌入。

  除此之外,SGM来提出了用波束搜索算法找出预测路径,本文没有说。

【注】:

《SGM: Sequence Generation Model for Multi-Label Classification》博客地址:这里!!!

《Semantic-Unit-Based Dilated Convolution for Multi-Label Text Classification》博客地址:这里!!!

《Attention is All You Need》博客地址:这里!!!

  最后,看一下SGM模型图

image.png

[2.2] 从应用领域来看

  我们普通使用的是,新闻文本多标签分类、论文摘要文本多标签分类。

  开始分析:

  本文是对高考语文试卷的阅读理解的答案拿出来,每个选项当作一个文本,一共有5个标签:写作技巧类、思想情感类、词句理解类、分析综合类、因果推理类。

  脱去外壳它就是个普普通通的多标签文本分类,但是文中提到的名词有:选项多标签分类 。总得来说就是讲故事的能力要很不错。

[3] 总结


  如果实在写不出来论文,不妨试试缝合模型+找个新领域

相关文章
|
3月前
|
Dubbo Java 应用服务中间件
Apache ShenYu 架构学习指南
Apache ShenYu 是一款高性能、插件化的微服务API网关,基于Spring WebFlux + Reactor 构建,支持多协议、动态配置与实时数据同步。本指南以通俗类比和实战路径,带你深入理解其架构设计、核心流程与源码实现,助力快速掌握并参与贡献。
488 12
|
存储 缓存 Rust
Polars (最强Pandas平替)
Polars (最强Pandas平替)
820 1
|
算法 安全 数据挖掘
如何更轻松地学习差分隐私——《动手学差分隐私》中文版正式发布!
2022年10月28日,阿里巴巴集团数据技术及产品部DataTrust团队成员刘巍然、李双为差分隐私在线书籍《动手学差分隐私(Programming Differential Privacy )》提供的中文翻译版本正式被原著作者Joseph P. Near和Chiké Abuah合并到书籍GitHub仓库(https://github.com/uvm-plaid/programming-dp/)中
2877 0
如何更轻松地学习差分隐私——《动手学差分隐私》中文版正式发布!
|
弹性计算 开发工具 git
GitLab的安装及使用教程
GitLab是利用Ruby on Rails一个开源的版本管理系统,实现一个自托管的Git项目仓库,可通过Web界面进行访问公开的或者私人项目,与Github类似。本篇教程将教你如何安装部署及使用GitLab。
131637 1
|
机器学习/深度学习 人工智能 数据可视化
ShuffleNet:极致轻量化卷积神经网络(分组卷积+通道重排)
我们引入了一个高效计算的CNN结构名字叫做shuffleNet,这个结构被设计用来解决部署算力非常有限的移动设备问题,这个新的结构使用了两个新的操作,pointwise group convolution 和 channel shuffle能够在极大减少计算量的同时保持一定的精度。我们在ImageNet classification和MS COCO目标检测数据集上做实验论证了ShuffleNet和其他的结构相比有着很好的性能。比如,相比于mobilenet,shufflenet在ImageNet 分类任务上有着更低的top-1错误率(错误率是7.8%)需要的计算量为40MFLOPs。在一个AR
3723 0
ShuffleNet:极致轻量化卷积神经网络(分组卷积+通道重排)
|
5月前
|
安全 Linux iOS开发
Tenable Nessus 10.9.3 (macOS, Linux, Windows) - 漏洞评估解决方案
Tenable Nessus 10.9.3 (macOS, Linux, Windows) - 漏洞评估解决方案
544 0
Tenable Nessus 10.9.3 (macOS, Linux, Windows) - 漏洞评估解决方案
|
9月前
|
存储 人工智能 测试技术
DeepWiki:告别迷茫!AI轻松解析Github代码库
DeepWiki 的核心目标是帮助开发者快速理解复杂的代码仓库。无论是公共仓库还是私有项目,它都可以通过简单的操作生成类似 Wikipedia 的文档页面。
|
12月前
|
机器学习/深度学习 人工智能 搜索推荐
PaSa:字节跳动开源学术论文检索智能体,自动调用搜索引擎、浏览相关论文并追踪引文网络
PaSa 是字节跳动推出的基于强化学习的学术论文检索智能体,能够自动调用搜索引擎、阅读论文并追踪引文网络,帮助用户快速获取精准的学术文献。
844 15
|
IDE Ubuntu 开发工具
2025年vscode (visual studio code)国内高速下载加速镜像,极速秒下!
Visual Studio Code(简称VSCode)是一款由微软开发的轻量级IDE,支持多种操作系统,以其高效、跨平台和免费的特点受到广泛欢迎。针对国内用户下载速度慢的问题,终于有了国内镜像,访问 https://www.baihezi.com/vscode/download
7302 10
2025年vscode (visual studio code)国内高速下载加速镜像,极速秒下!
|
自然语言处理 算法 数据挖掘
模块化RAG技术路线图:从基础Naive RAG 到Modular RAG全方位技术解读
【8月更文挑战第12天】模块化RAG技术路线图:从基础Naive RAG 到Modular RAG全方位技术解读
3655 9
模块化RAG技术路线图:从基础Naive RAG 到Modular RAG全方位技术解读