机器学习的统计方法 贝叶斯决策理论入门(公式修正版)

简介: 机器学习的统计方法 贝叶斯决策理论入门(公式修正版)

因为昨天排版问题,导致公式无法显示,今天这一版本已经修复,在这里跟大家说声抱歉。

另外感谢小伙伴留言提醒,你们的支持就是我们更新的动力。


image.png

引言

无论你是在建立机器学习模型还是在日常生活中做决定,我们总是选择风险最小的方案。作为人类,我们天生就采取任何有助于我们生存的行动;然而,机器学习模型最初并不是基于这种理解而建立的。这些算法需要经过训练和优化,以选择风险最小的最优方案。此外,很重要的一点在于,我们必须明白,如果某些高风险的决定做的不正确,将会导致严重的后果。

image.png

我们以癌症诊断为例。根据病人的计算机断层扫描(CT),放射科医生能确定肿瘤的存在吗?如果他们认为病人体内有肿瘤,那么医生需要弄清楚肿瘤是良性的还是恶性的,以确定正确的治疗方法。鉴于本文的目的是描述做出这些决策的统计方法,所以我只关注问题的第一部分:病人是否有肿瘤,是,还是否?


贝叶斯定理

在统计学和概率论领域,最著名的方程之一是贝叶斯定理(见下面的公式)。基本直觉是,给定某个特征(即属性)时,某个类或事件发生的概率是基于特征值的可能性和有关该类或事件的任何先验信息计算的。这句话看起来有点复杂,所以我们一步步拆开来看。首先,癌症检测是一个两类问题。第一类ω_1表示肿瘤存在,ω_2表示肿瘤不存在。

image.png

贝叶斯定理有四个部分:先验、似然、置信和后验。

先验

验概率(P(ω_1),P(ω_2))定义了事件ω_1或ω_2在自然界中发生的可能性。我们要注意,先验概率的分布根据我们问题的情景而各有差异。由于目标是检测癌症,可以肯定的是,肿瘤出现的概率很低:P(ω_1)<P(ω_2)。但是,不管值是多少,所有先验概率的总和都必须是1。

似然

从技术上来说,CT扫描是指用x射线以圆周运动的方式进行扫描。产生的关键指标之一是衰减——衡量x射线吸收程度的指标。密度越高的物体衰减越大,反之亦然。因此,与肺组织相比,肿瘤可能具有更高的衰减。


假设我们只通过衰减值这一个特征来从ω_1和ω_2之间做出决定。每个类都有一个类条件概率密度p(x|ω_1)和p(x│ω_2 ),称为“似然度”。下图显示了一个的P(x|ω)的类条件概率密度示意图。类条件概率分布是通过分析训练数据集来提取的;但是,如果有相关领域的专家来检查一下数据的有效性是最好的。

image.png

置信

描述置信p(x)最好的办法是全概率公式。这条公式指出,如果有相互排斥的事件(例如ω_1和ω_2),其发生概率总和为1,则某个特征(例如衰减程度)出现的概率(也即我们的置信)是所有相互排斥的事件的似然度与对应事件先验概率乘积的和。

image.png

后验

贝叶斯定理的结果称为后验概率P(ω_1 |x)和P(ω_2 |x)。后验概率表示在给定特征x(例如衰减程度)的情况下,观察值属于ω_1或ω_2类(即是否存在肿瘤)的概率。每一个观测值都有一个后验概率,所有后验概率的总和必须达到1。对于我们试图解决的癌症检测问题,它有两个后验概率。除了似然度和后验概率之间的联系之外,后验概率还可能受到先验概率P(ω)的严重影响。

决策规则

既然我们已经很好地理解了贝叶斯定理,现在是时候看看如何利用它在两个类之间建立一个决策边界了。有两种方法可以确定病人是否有肿瘤。第一种是一种简单的方法,它只使用先验概率值来做决定;第二种方法利用后验概率,利用先验概率和类条件概率分布来确定病人患有肿瘤的概率。


使用先验概率

假设我们只根据自然的先验概率做出决策,这意味着我们忘记贝叶斯定理中的所有其他因素。由于有肿瘤的概率P(ω_1)远小于没有肿瘤的概率P(ω_2),我们的模型/系统将始终预测每个患者都没有肿瘤。尽管模型/系统在大多数情况下都是正确的,但它无法识别出真正患有肿瘤并需要救治的患者。

使用后验概率

现在让我们使用后验概率P(ω_1 |x)和P(ω_2 |x)来采取更全面的方法。由于后验概论是贝叶斯定理的结果,类条件概率密度p(x|ω_1)和p(x|ω_2)减轻了先验的影响。如果我们的模型/系统所观察的区域的衰减比普通组织要高,那么尽管存在自然的先验概率,但肿瘤出现的概率还是会增加。假设一个特定区域有75%的几率含有肿瘤,那么这就意味着有25%的几率根本没有肿瘤。这25%的几率是我们出错的概率,也被称为风险。

结论

您刚刚学到的是贝叶斯决策理论的一个简单的单变量应用,它可以通过使用多元高斯分布代替置信和似然度来扩展到更大的特征空间。虽然本文的重点是解决癌症检测的问题,但是贝叶斯定理也被广泛用于包括投资、市场营销和系统工程在内的众多领域。

参考资源

[1]Seo, Young-Woo. (2006). Cost-Sensitive Access Control for Illegitimate Confidential Access by Insiders. Proceedings of IEEE Intelligence and Security Informatics: 23–24 May 2006. 3975. 117–128. 10.1007/11760146_11.

[2] Duda, R. O., Hart, P. E., Stork, D. G. (2001). Pattern Classification. New York: Wiley. ISBN: 978–0–471–05669–0

[3] Glatter, R., “Medicare To Cover Low-Dose CT Scans For Those At High Risk For Lung Cancer”, Forbes (2015)

目录
相关文章
|
17天前
|
数据采集 机器学习/深度学习 算法
机器学习方法之决策树算法
决策树算法是一种常用的机器学习方法,可以应用于分类和回归任务。通过递归地将数据集划分为更小的子集,从而形成一棵树状的结构模型。每个内部节点代表一个特征的判断,每个分支代表这个特征的某个取值或范围,每个叶节点则表示预测结果。
36 1
|
5天前
|
测试技术
8B尺寸达到GPT-4级性能!北大等提出医疗专家模型训练方法
【7月更文挑战第8天】北京大学等研究者提出的新方法缓解了大模型如Llama-3-8B在持续预训练时的“稳定性差距”,通过多轮次训练、高质量子语料库选择和数据混合策略,提升性能和效率。在医疗领域,他们将OpenLlama-3B性能提升至40.7%,并创建的Llama-3-Physician模型达到GPT-4级别。尽管取得突破,该方法在其他模型和领域的适用性仍需探索,且持续预训练仍资源密集。[链接: https://arxiv.org/abs/2406.14833]
40 25
|
24天前
|
机器学习/深度学习 人工智能 算法
【机器学习】RLHF:在线方法与离线算法在大模型语言模型校准中的博弈
【机器学习】RLHF:在线方法与离线算法在大模型语言模型校准中的博弈
241 6
|
22小时前
|
机器学习/深度学习 算法 Python
强化学习(Reinforcement Learning, RL)** 是一种机器学习技术,其中智能体(Agent)通过与环境(Environment)交互来学习如何执行决策以最大化累积奖励。
强化学习(Reinforcement Learning, RL)** 是一种机器学习技术,其中智能体(Agent)通过与环境(Environment)交互来学习如何执行决策以最大化累积奖励。
6 0
|
22小时前
|
机器学习/深度学习 数据采集 存储
在机器学习和数据科学中,数据预处理是一个至关重要的步骤。数据规范化(或称为特征缩放)是预处理的一种常见技术,它可以帮助我们改进模型的性能。`sklearn.preprocessing`模块提供了多种数据规范化的方法,其中`StandardScaler`和`MinMaxScaler`是最常用的两种。
在机器学习和数据科学中,数据预处理是一个至关重要的步骤。数据规范化(或称为特征缩放)是预处理的一种常见技术,它可以帮助我们改进模型的性能。`sklearn.preprocessing`模块提供了多种数据规范化的方法,其中`StandardScaler`和`MinMaxScaler`是最常用的两种。
5 0
|
26天前
|
机器学习/深度学习 算法 搜索推荐
机器学习方法之强化学习
强化学习是一种机器学习方法,旨在通过与环境的交互来学习如何做出决策,以最大化累积的奖励。
35 2
|
24天前
|
机器学习/深度学习 人工智能 算法
【机器学习】Q-Learning算法:在序列决策问题中的实践与探索
【机器学习】Q-Learning算法:在序列决策问题中的实践与探索
28 0
【机器学习】Q-Learning算法:在序列决策问题中的实践与探索
|
26天前
|
机器学习/深度学习 搜索推荐
解决冷启动问题的机器学习方法和一个简化的代码示例
解决冷启动问题的机器学习方法和一个简化的代码示例
|
26天前
|
机器学习/深度学习 数据采集 运维
无监督学习是机器学习的一种重要方法
无监督学习是机器学习的一种重要方法
|
24天前
|
机器学习/深度学习 人工智能 算法
【机器学习】AI在空战决策中的崛起:从理论到实践的跨越
【机器学习】AI在空战决策中的崛起:从理论到实践的跨越
28 0