【新智元导读】本研究综述了UQ方法在深度学习中的最新进展。此外，我们还研究了这些方法在强化学习(RL)中的应用。
在优化和决策过程中，不确定性量化(UQ)在减少不确定性方面起着至关重要的作用。它可以用于解决科学和工程中的各种实际应用。贝叶斯逼近和集成学习技术是目前文献中使用最广泛的两种UQ方法。
在这方面，研究者们提出了不同的UQ方法，并在计算机视觉(如自动驾驶汽车和目标检测)、图像处理(如图像恢复)、医学图像分析(如医学图像分类和分割)、自然语言处理(如文本分类、社交媒体文本和再犯风险评分)、生物信息学得到广泛应用。
本研究综述了UQ方法在深度学习中的最新进展。此外，我们还研究了这些方法在强化学习(RL)中的应用。然后，我们概述了UQ方法的几个重要应用。最后，我们简要地强调了UQ方法面临的基本研究挑战，并讨论了该领域的未来研究方向。
摘要
在日常情景中，我们处理很多领域的不确定性，从投资机会和医疗诊断到体育比赛和天气预报，目的是根据收集的观察和不确定的领域知识进行决策。
现在，我们可以依靠使用机器和深度学习技术开发的模型来量化不确定性来完成统计推断[1]。在人工智能(AI)系统使用[2]之前，对其效能进行评估是非常重要的。
这种模型的预测具有不确定性，除了存在不确定性的归纳假设外，还容易出现噪声和错误的模型推断。
因此，在任何基于人工智能的系统中，以一种值得信赖的方式表示不确定性是非常可取的。通过有效地处理不确定性，这样的自动化系统应该能够准确地执行。不确定性因素在人工智能中扮演着重要的角色
不确定性的来源是当测试和训练数据不匹配，由于类重叠或由于数据[6]中存在噪声而产生的不确定性。估计知识的不确定性要比数据的不确定性困难得多，数据的不确定性自然是通过极大似然训练来度量的。
预测中的不确定性来源对于解决不确定性估计问题[7]至关重要。
不确定性有两个主要来源，在概念上称为aleatoric和epistemic不确定性[8](见图1)。
数据中的不可约不确定性导致预测中的不确定性是一种可选不确定性(也称为数据不确定性)。
这种类型的不确定性不是模型的属性，而是数据分布的固有属性;因此它是不可约的。不确定性的另一种类型是认知不确定性(也称为知识不确定性)，它是由于知识和数据的不足而产生的。
DL模型首先收集可用于决策过程的最全面和潜在相关的数据集。DL场景的设计是为了满足某些性能目标，以便在使用标记数据训练模型之后选择最合适的DL架构。
迭代训练过程优化不同的学习参数，这些参数将被“调整”，直到网络提供令人满意的性能水平。
在涉及的步骤中，有几个不确定因素需要加以量化。很明显的不确定性这些步骤如下:
(i)选择和训练数据的集合
(ii)训练数据的完整性和准确性
(3)理解DL(或传统机器学习)模型与性能范围及其局限性,和(iv)不确定性对应基于操作数据的性能模型[13]。
数据驱动的方法，如与UQ相关的DL提出了至少四组重叠的挑战:
(1)缺乏理论
(2)缺乏临时模型
(3)对不完美数据的敏感性
(4)计算费用
为了缓解这些挑战，有时会采用模型变异性研究和敏感性分析等特殊解决方案。不确定性估计和量化在数字学习和传统机器学习中得到了广泛的研究。
在下面，我们提供一些最近的研究的简要总结，这些研究检验了处理不确定性的各种方法的有效性。
图2给出了三种不同不确定度模型[9](MC dropout, Boostrap模型和GMM模型)的示意图比较。此外，不确定性感知模型(BNN)与OoD分类器的两种图形表示如图3所示。
人们可以定义模型来回答基于模型预测中的不同人类问题。在数据丰富的情况下，有大量的数据收集，但它可能是信息差的[10]。在这种情况下，可以使用基于人工智能的方法定义有效的模型，表征数据特征。
通常这些数据是不完整的，有噪声的，不一致的和多模态的[1]。
不确定性量化(UQ)是当今许多关键决策的基础。
没有UQ的预测通常是不可靠和不准确的。为了理解深度学习(DL)[11]，[12]过程生命周期，我们需要理解UQ在DL中的作用。
在大数据时代，ML和DL，智能使用不同的原始数据有巨大的潜力，造福于广泛的领域。然而，UQ在不同的ML和DL方法可以显著提高其结果的可靠性。Ning等人总结并分类了不确定性下数据驱动优化范式的主要贡献。
可以看出，本文只回顾了数据驱动的优化。在另一项研究中，Kabir等人[16]回顾了基于神经网络的UQ。作者关注概率预测和预测区间(pi)，因为它们是UQ文献中最广泛使用的技术之一。
我们注意到，从2010年到2020年(6月底)，在各个领域(如计算机视觉、图像处理、医学图像分析、信号处理、自然语言处理等)发表了超过2500篇关于AI中UQ的论文。
与以往UQ领域的文献综述不同，本研究回顾了最近发表的使用不同方法定量AI (ML和DL)不确定性的文章。另外，我们很想知道UQ如何影响真实案例，解决AI中的不确定性有助于获得可靠的结果。
与此同时，在现有的研究方法中寻找重要的谈话是一种很好的方式，为未来的研究指明方向。在这方面，本文将为ML和DL中UQ的未来研究人员提供更多的建议。我们调查了UQ领域应用于ML和DL方法的最新研究。
因此，我们总结了ML和DL中UQ的一些现有研究。值得一提的是，本研究的主要目的并不是比较提出的不同UQ方法的性能，因为这些方法是针对不同的数据和特定的任务引入的。
由于这个原因，我们认为比较所有方法的性能超出了本研究的范围。因此，本研究主要关注DL、ML和强化学习(RL)等重要领域。因此，本研究的主要贡献如下:
- 据我们所知，这是第一篇关于ML和DL方法中使用的UQ方法的全面综述论文，值得该领域的研究人员使用。
- 对新提出的UQ方法进行了全面调研。
- 此外，UQ方法的重要应用的主要类别也进行了介绍
- 指出了UQ方法的主要研究空白。
- 最后，讨论了很少确定的未来发展方向。
