什么是ablation study(消融实验)?

简介: 什么是ablation study(消融实验)?

本文是对学术概念“ablation study(消融实验)”一词的介绍。


在深度学习论文中,ablation study往往是在论文最终提出的模型上,减少一些改进特征(如减少几层网络等),以验证相应改进特征的必要性。

(一般在跑ablation study的时候发现去掉改进效果更好的情况也是常有的)


以Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling一文举例论文是我随手挑的,我没仔细看,其ablation study部分:

image.png


在本文提出的TDS+SATM模型的基础上,ablation study比较了原模型与分别去掉(w/o是without的意思)customer utterances上的topic modeling、agent utterances上的topic modeling和都去掉后的实验效果,最后发现本文提出的模型效果最好,证明了模型的这些组成部分是有效的。


以下介绍一些ablation study概念之外的补充知识:


这个quora问题下的回答https://qr.ae/pGLSRk给出了另一个典型示例:LSTM模型一共有4个门,去掉一些门→GRU

此外本链接还提及,如果去掉一些特征后模型效果基本没变,就应该用更简单的模型(我认为应该是根据奥卡姆剃刀原理)。


在这个知乎回答什么是 ablation study? - 尼箍纳斯凯奇的回答 - 知乎下的评论中提及“消融实验”这一概念的可能来源:


这个用法很可能是从神经科学借来的。有许多实验是通过损伤(ablate)一个或多个特定的神经元来研究它们的功能。


这个回答什么是 ablation study? - 谢小六的回答 - 知乎介绍了“消融实验”源于20世纪实验心理学领域,其中动物的大脑部分被移除以研究其对其行为的影响,对应概念在Oxford reference上的详细解释:Ablation experiment - Oxford Reference

这一概念被机器学习界重视,则始自 Keras 深度学习框架的主要作者 Francois Chollet 在2018年6月发布的推文,强调ablation study对因果分析的意义:


Ablation studies are crucial for deep learning research – can’t stress this enough. Understanding causality in your system is the most straightforward way to generate reliable knowledge (the goal of any research). And ablation is a very low-effort way to look into causality.


相关文章
|
Java 程序员 网络安全
JUnit5学习之六:参数化测试(Parameterized Tests)基础
了解JUnit5的参数化测试的基本知识
215 2
JUnit5学习之六:参数化测试(Parameterized Tests)基础
|
7月前
|
算法 数据挖掘 测试技术
Sentieon | 每周文献-Benchmark and Method Study-第三十期
Sentieon | 每周文献-Benchmark and Method Study-第三十期
47 1
|
人工智能 计算机视觉
Dataset之BDD100K:BDD100K数据集的简介、下载、使用方法之详细攻略
Dataset之BDD100K:BDD100K数据集的简介、下载、使用方法之详细攻略
Dataset之BDD100K:BDD100K数据集的简介、下载、使用方法之详细攻略
|
2月前
|
计算机视觉 异构计算
目标检测实战(四):YOLOV4-Tiny 源码训练、测试、验证详细步骤
这篇文章详细介绍了使用YOLOv4-Tiny进行目标检测的实战步骤,包括下载源码和权重文件、配置编译环境、进行简单测试、训练VOC数据集、生成训练文件、准备训练、开始训练以及多GPU训练的步骤。文章还提供了相应的代码示例,帮助读者理解和实践YOLOv4-Tiny模型的训练和测试过程。
264 0
|
数据采集 机器学习/深度学习 算法
论文中的实验环境配置
论文中的实验环境配置
1493 0
|
7月前
|
消息中间件 Kafka 网络安全
JUnit5学习之七:参数化测试(Parameterized Tests)进阶
JUnit5学习之七:参数化测试(Parameterized Tests)进阶
|
7月前
|
机器学习/深度学习 算法 数据挖掘
Sentieon | 每周文献-Benchmark and Method Study-第十九期
Sentieon | 每周文献-Benchmark and Method Study-第十九期
66 0
|
计算机视觉 索引
YOLOv5的Tricks | 【Trick14】YOLOv5的val.py脚本的解析
YOLOv5的Tricks | 【Trick14】YOLOv5的val.py脚本的解析
1394 0
YOLOv5的Tricks | 【Trick14】YOLOv5的val.py脚本的解析
|
机器学习/深度学习 PyTorch Go
YOLOv5源码逐行超详细注释与解读(7)——网络结构(2)common.py
YOLOv5源码逐行超详细注释与解读(7)——网络结构(2)common.py
2382 0
【YOLOV5-6.x讲解】DIY实验文件 models/experimental.py
【YOLOV5-6.x讲解】DIY实验文件 models/experimental.py
251 0