【论文写作分析】之一 《基于混合注意力Seq2seq模型的选项多标签分类》

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 【论文写作分析】之一 《基于混合注意力Seq2seq模型的选项多标签分类》

[1] 参考论文信息


  论文名称:《基于混合注意力Seq2seq模型的选项多标签分类》

  发布期刊:《计算机工程与应用》

  期刊信息:CSCD扩展

image.png

  论文写作分析摘要:本文非常典型,把几个模型里的亮点抽出缝合在一起,然后放在一个从来没使用过的领域上跑。这种写法简直就是我的理想型。

[2] 参考论文分解


  这篇论文的支撑点有二:模型新领域

[2.1] 从模型来看

  先看一下论文给出的模型:

image.png

  模型使用到的点有:

  1、混合注意力机制+Seq2Seq模型(Hybrid Attention of Seq2seq Model)

  2、多头自注意力机制(Multi-Head self-Attention)

  3、标签嵌入(Label-Embedding)

  4、掩码模块(Masked Softmax)

  开始分析:

  本文模型是另外三篇论文的融合,分别是:

  1、《SGM: Sequence Generation Model for Multi-Label Classification》提出的模型和本文提出的模型不能说相差不大,只能说一模一样。本文是在SGM模型的基础上改动的。

   2、SGM是注意力机制,本文是混合注意力机制+多头自注意力机制,混合注意力机制来自《Semantic-Unit-Based Dilated Convolution for Multi-Label Text Classification》,多头自注意力机制来自《Attention is All You Need》。

  3、SGM是全局嵌入,本文是标签嵌入。

  除此之外,SGM来提出了用波束搜索算法找出预测路径,本文没有说。

【注】:

《SGM: Sequence Generation Model for Multi-Label Classification》博客地址:这里!!!

《Semantic-Unit-Based Dilated Convolution for Multi-Label Text Classification》博客地址:这里!!!

《Attention is All You Need》博客地址:这里!!!

  最后,看一下SGM模型图

image.png

[2.2] 从应用领域来看

  我们普通使用的是,新闻文本多标签分类、论文摘要文本多标签分类。

  开始分析:

  本文是对高考语文试卷的阅读理解的答案拿出来,每个选项当作一个文本,一共有5个标签:写作技巧类、思想情感类、词句理解类、分析综合类、因果推理类。

  脱去外壳它就是个普普通通的多标签文本分类,但是文中提到的名词有:选项多标签分类 。总得来说就是讲故事的能力要很不错。

[3] 总结


  如果实在写不出来论文,不妨试试缝合模型+找个新领域

相关文章
|
机器学习/深度学习 自然语言处理 算法
文本摘要(text summarization)任务:研究范式,重要模型,评估指标(持续更新ing...)
本文是作者在学习文本摘要任务的过程中,根据学习资料总结逐步得到并整理为成文的相关内容。相关学习资料(包括论文、博文、视频等)都会以脚注等形式标明。有一些在一篇内会导致篇幅过长的内容会延伸到其他博文中撰写,但会在本文中提供超链接。 本文将主要列举里程碑式的重要文本摘要论文。 注意:除文首的表格外,本文所参考的论文,如本人已撰写对应的学习博文,则不直接引用原论文,而引用我撰写的博文。 本文会长期更新。
文本摘要(text summarization)任务:研究范式,重要模型,评估指标(持续更新ing...)
|
14天前
|
机器学习/深度学习 人工智能 自然语言处理
【EMNLP2024】面向长文本的文视频表征学习与检索模型 VideoCLIP-XL
阿里云人工智能平台 PAI 与华南理工大学金连文教授团队合作,在自然语言处理顶会 EMNLP 2024 上发表论文《VideoCLIP-XL: Advancing Long Description Understanding for Video CLIP Models》。VideoCLIP-XL 模型,有效地提升了对视频的长文本描述的理解能力。
|
1月前
|
机器学习/深度学习 JSON 算法
语义分割笔记(二):DeepLab V3对图像进行分割(自定义数据集从零到一进行训练、验证和测试)
本文介绍了DeepLab V3在语义分割中的应用,包括数据集准备、模型训练、测试和评估,提供了代码和资源链接。
179 0
语义分割笔记(二):DeepLab V3对图像进行分割(自定义数据集从零到一进行训练、验证和测试)
|
3月前
|
SQL 自然语言处理 算法
预训练模型STAR问题之计算伪OOD样本的软标签的问题如何解决
预训练模型STAR问题之计算伪OOD样本的软标签的问题如何解决
|
3月前
|
机器学习/深度学习
ChatGPT 等相关大模型问题之Transformer中将Attention值转换为概率如何解决
ChatGPT 等相关大模型问题之Transformer中将Attention值转换为概率如何解决
|
测试技术 PyTorch TensorFlow
Yolov5-6.2 正式发布 | Yolov5 也可以训练分类模型啦,语义分割+实例分割很快到来
Yolov5-6.2 正式发布 | Yolov5 也可以训练分类模型啦,语义分割+实例分割很快到来
551 0
|
人工智能 知识图谱
将语言模型用作知识嵌入:链接预测、三元组分类全部SOTA,超越基于结构的传统方法
将语言模型用作知识嵌入:链接预测、三元组分类全部SOTA,超越基于结构的传统方法
188 0
|
机器学习/深度学习 文字识别 算法
【项目实践】中英文文字检测与识别项目(CTPN+CRNN+CTC Loss原理讲解)(一)
【项目实践】中英文文字检测与识别项目(CTPN+CRNN+CTC Loss原理讲解)(一)
324 0
|
机器学习/深度学习 文字识别 算法
【项目实践】中英文文字检测与识别项目(CTPN+CRNN+CTC Loss原理讲解)(二)
【项目实践】中英文文字检测与识别项目(CTPN+CRNN+CTC Loss原理讲解)(二)
279 0
|
文字识别
【项目实践】中英文文字检测与识别项目(CTPN+CRNN+CTC Loss原理讲解)(三)
【项目实践】中英文文字检测与识别项目(CTPN+CRNN+CTC Loss原理讲解)(三)
161 0

热门文章

最新文章