什么是ablation study(消融实验)?

简介: 什么是ablation study(消融实验)?

本文是对学术概念“ablation study(消融实验)”一词的介绍。


在深度学习论文中,ablation study往往是在论文最终提出的模型上,减少一些改进特征(如减少几层网络等),以验证相应改进特征的必要性。

(一般在跑ablation study的时候发现去掉改进效果更好的情况也是常有的)


以Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling一文举例论文是我随手挑的,我没仔细看,其ablation study部分:

image.png


在本文提出的TDS+SATM模型的基础上,ablation study比较了原模型与分别去掉(w/o是without的意思)customer utterances上的topic modeling、agent utterances上的topic modeling和都去掉后的实验效果,最后发现本文提出的模型效果最好,证明了模型的这些组成部分是有效的。


以下介绍一些ablation study概念之外的补充知识:


这个quora问题下的回答https://qr.ae/pGLSRk给出了另一个典型示例:LSTM模型一共有4个门,去掉一些门→GRU

此外本链接还提及,如果去掉一些特征后模型效果基本没变,就应该用更简单的模型(我认为应该是根据奥卡姆剃刀原理)。


在这个知乎回答什么是 ablation study? - 尼箍纳斯凯奇的回答 - 知乎下的评论中提及“消融实验”这一概念的可能来源:


这个用法很可能是从神经科学借来的。有许多实验是通过损伤(ablate)一个或多个特定的神经元来研究它们的功能。


这个回答什么是 ablation study? - 谢小六的回答 - 知乎介绍了“消融实验”源于20世纪实验心理学领域,其中动物的大脑部分被移除以研究其对其行为的影响,对应概念在Oxford reference上的详细解释:Ablation experiment - Oxford Reference

这一概念被机器学习界重视,则始自 Keras 深度学习框架的主要作者 Francois Chollet 在2018年6月发布的推文,强调ablation study对因果分析的意义:


Ablation studies are crucial for deep learning research – can’t stress this enough. Understanding causality in your system is the most straightforward way to generate reliable knowledge (the goal of any research). And ablation is a very low-effort way to look into causality.


相关文章
|
9月前
|
存储 弹性计算 运维
阿里云轻量应用服务器和云服务器区别——ECS和轻量如何选择?
阿里云轻量应用服务器简化易用,适合个人及轻量场景;ECS功能强大、弹性灵活,适用于企业级复杂业务。根据需求选择:轻量型选SWAS,高性能选ECS。
|
机器学习/深度学习 自然语言处理
自然语言处理Transformer模型最详细讲解(图解版)
自然语言处理Transformer模型最详细讲解(图解版)
14162 1
自然语言处理Transformer模型最详细讲解(图解版)
overleaf 插入图片,引用图片,图标标题Fig与文章引用Figure不一致解决
overleaf 插入图片,引用图片,图标标题Fig与文章引用Figure不一致解决
13176 1
|
5月前
|
数据采集 人工智能 机器人
3类可回收垃圾金属、纸张、塑料检测数据集(2800张)|YOLO训练数据集 智能垃圾分类 环保回收识别 视觉检测
本数据集含2800张真实场景图像,精准标注金属、纸张、塑料三类可回收垃圾,采用标准YOLO格式,适配YOLOv5/v8/v11、RT-DETR等主流模型,覆盖多光照、多角度、遮挡及复杂背景,开箱即用,助力智能垃圾分类、环保机器人与智慧环卫项目快速落地。
|
编译器
overleaf 参考文献引用,创建引用目录.bib文件,在文档中引用参考文献,生成参考文献列表
overleaf 参考文献引用,创建引用目录.bib文件,在文档中引用参考文献,生成参考文献列表
12654 0
|
机器学习/深度学习 人工智能 计算机视觉
让AI真正"看懂"世界:多模态表征空间构建秘籍
本文深入解析多模态学习的两大核心难题:多模态对齐与多模态融合,探讨如何让AI理解并关联图像、文字、声音等异构数据,实现类似人类的综合认知能力。
4365 6
|
机器学习/深度学习 算法 搜索推荐
从零开始构建图注意力网络:GAT算法原理与数值实现详解
本文详细解析了图注意力网络(GAT)的算法原理和实现过程。GAT通过引入注意力机制解决了图卷积网络(GCN)中所有邻居节点贡献相等的局限性,让模型能够自动学习不同邻居的重要性权重。
1781 0
从零开始构建图注意力网络:GAT算法原理与数值实现详解
|
机器学习/深度学习
神经网络与深度学习---验证集(测试集)准确率高于训练集准确率的原因
本文分析了神经网络中验证集(测试集)准确率高于训练集准确率的四个可能原因,包括数据集大小和分布不均、模型正则化过度、批处理后准确率计算时机不同,以及训练集预处理过度导致分布变化。
|
IDE 开发工具 Python
在pycharm中使用jupyter
本文介绍了如何在PyCharm中安装并使用Jupyter Notebook,包括在PyCharm中新建Jupyter Notebook、配置Jupyter Server以及利用PyCharm的高级功能进行更高效的编程和调试。
在pycharm中使用jupyter
|
机器学习/深度学习 自然语言处理 监控
深入探索:深度学习在时间序列预测中的强大应用与实现
时间序列分析是数据科学和机器学习中一个重要的研究领域,广泛应用于金融市场、天气预报、能源管理、交通预测、健康监控等多个领域。时间序列数据具有顺序相关性,通常展示出时间上较强的依赖性,因此简单的传统回归模型往往不能捕捉其中复杂的动态特征。深度学习通过其非线性建模能力和层次结构的特征提取能力,能够有效地捕捉复杂的时间相关性和非线性动态变化模式,从而在时间序列分析中展现出极大的潜力。
1380 0

热门文章

最新文章