《MacTalk 跨越边界》一一3.4 大数据时代的贝叶斯定理

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

本节书摘来自异步社区出版社《MacTalk 跨越边界》一书中的第3章,第3.4节,作者: 池建强,更多章节内容可以访问云栖社区“异步社区”公众号查看。

3.4 大数据时代的贝叶斯定理

MacTalk 跨越边界
今天给大家说说大数据下的贝叶斯定理,算是科普。如果有朝一日你能以之推算出搭讪妹子的成功率,算我一份功劳。

每当有技术热点或新概念出来的时候,人群就会分成三种:炒作的、观望的和踏踏实实干活的。炒作的是不懂的,观望的是保守的,沉下来去研究那些浮萍下面的算法、引擎、框架和语言的人,才是最后吃到果子的人。云计算、大数据莫不如是。

随着搜索、社交网络、电子商务和移动互联网的发展,数据总量和增长速度已经到了常人(注:我这样的人)无法想象的地步。其中数学相关的知识是大数据应用和发展的原动力。

举个例子,比如贝叶斯定理。

搞数理统计如果不知道贝叶斯定理,那么你的人生肯定是不完整的。贝叶斯定理是贝叶斯推断的应用,是英国数学家托马斯·贝叶斯在1763年首次提出的。与其他统计学不同,贝叶斯定理是建立在主观判断的基础上,它需要有大量的样本数据,并在数据的基础上进行计算,数据量越大,计算结果越能反映现实世界。

在计算机诞生之前,这个前提条件是很难满足的,所以贝叶斯定理在历史上很长一段时间内都没有得到很好的应用。然后,互联网时代来临了……

现在贝叶斯定理广泛应用于中文分词、垃圾邮件处理、机器学习、图像识别、拼写检查和一些常用的分类算法上。可以说,我们现在最常用的互联网服务上,贝叶斯定理无处不在。贝老爷子没能挺到今天看到他提出的理论在互联网时代大放异彩,也算是憾事。其实做基础研究和艺术创作的人都非常不容易,每天徜徉在知识的小黑屋里冥思苦想,时时刻刻准备改变世界,结果很多学术成果和艺术成就都是自己挂了之后才流芳百世的,这种事随便想想也会让人感到悲伤。

当然,这些伟大的创造者和先知先觉的神人大都是以认知世界和发现规律为己任,他们注定是要去拯救和影响一代又一代的后人,所以早已超凡脱俗长袖飘飘,肯定不会有我等这些俗人俗想。

关于贝叶斯定理,刘未鹏和阮一峰的博客上都做过详细的介绍,大家可以去深入学习。我这里做个最简介绍,希望能够帮助大家入门。

贝叶斯定理主要是用来描述两个条件概率之间的关系,先介绍下条件概率。

P(A):表示事件A发生的概率。

P(B):表示事件B发生的概率。

P(A∩B):表示事件A和事件B同时发生的概率,也叫联合概率。

而条件概率的意思就是:事件B发生的情况下,事件A发生的概率,用P(A|B)来表示。同理,P(B|A)就是事件A发生的情况下,事件B发生的概率。

用文氏图可以很容易地推导出贝叶斯公式,如图所示:

image

当事件B发生的情况下,事件A发生的概率就是P(A∩B)除以P(B),也就是: P(A|B) = P(A∩B)/P(B)

即:P(A∩B) = P(A|B)P(B)

同理可得:P(A∩B) = P(B|A)P(A)

换算一下就得到了贝叶斯公式:

P(A|B)P(B) = P(B|A)P(A)

也就是:

P(A|B) = P(B|A)P(A)/P(B)

image

用人话说出来就是:事件B发生的情况下事件A发生的概率等于事件A发生的情况下事件B发生的概率乘以事件A发生的概率,然后再除以事件B发生的概率。

我承认这句话更像是绕口令而不是人话,反正你们懂的,如果不懂竟然能看到这里,那么你赢了。

下面我们举个例子看看这个公式怎么用。有A、B两个一模一样的箱子,每个箱子里都放了很多黑球和白球。A箱子里有6个黑球,4个白球;B箱子里有1个黑球,9个白球。现在随机选择一个箱子拿出一个球,发现是黑球,请问这个球来自A箱子的概率是多少?

解题思路如下。

我们把“从A箱子拿出球”的事件设置为A事件,“拿出的球是黑球”设置为B事件。由于两个箱子是一模一样的,那么“从A箱子拿出球”的概率是二分之一,即:

P(A) = 0.5

“拿出是黑球”的概率也很容易算出来,把所有的黑球加起来除以球的总数,即:

P(B) = (6+1)/20 = 0.35

“从A箱中拿出黑球”的概率就更容易了,用A箱中的黑球数除以A箱中球的总数,即:

P(B|A) = 6/(4+6) = 0.6

那么根据公式,这个黑球来自A箱的概率就是:

P(A|B) = 0.6×0.5/0.35≈0.857

生活中,我们也常常会被类似的概率问题困扰,比如医患关系中常见的误诊问题,这些都是可以通过贝叶斯公式进行概率演算的,网络上有很多相关案例,有兴趣的可以去阅读学习(搜索“贝叶斯实例”即可)。

以前推荐过的书《黑客与画家》的第8章“防止垃圾邮件的一种方法”,就采用了贝叶斯原理实现垃圾邮件过滤器,其中有详细的描述和实现思路,有这本书的读者可以去看看。

另外,如果你想从事大数据领域相关的工作,R语言也是值得关注的一门语言,关于这门语言,我还没入门。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
供应链 监控 数据挖掘
高质量决策是伪命题吗?拨开迷雾,回归决策价值
高质量决策是伪命题吗?拨开迷雾,回归决策价值
48 1
|
2月前
|
数据可视化 数据建模
R语言用线性混合效应(多水平/层次/嵌套)模型分析声调高低与礼貌态度的关系
R语言用线性混合效应(多水平/层次/嵌套)模型分析声调高低与礼貌态度的关系
|
11月前
|
算法 数据挖掘 调度
数据驱动的两阶段分布鲁棒(1-范数和∞-范数约束)的电热综合能源系统研究(Matlab代码实现)
数据驱动的两阶段分布鲁棒(1-范数和∞-范数约束)的电热综合能源系统研究(Matlab代码实现)
107 0
|
运维 分布式计算 算法
孤立森林:大数据背景下的最佳异常检测算法之一
孤立森林:大数据背景下的最佳异常检测算法之一
289 0
孤立森林:大数据背景下的最佳异常检测算法之一
网络舆情传播特征/发展规律分析
在不同时期的舆情往往具有不同的舆情表现特征,下面小编将按照不同媒介发展时期对舆情传播发展的规律进行如下分析:
网络舆情传播特征/发展规律分析
|
机器学习/深度学习 数据采集 边缘计算
医疗数据典型特征及架构发展方向研究
医疗及健康行业风口来临,本文从最近阿里云天池比赛对于医疗数据的特征进行分析并提出未来医疗健康产业数据架构的发展方向思路
1698 0
|
监控 前端开发 数据中心
|
安全 大数据
|
机器学习/深度学习 人工智能 算法
《中国人工智能学会通讯》——2.22 通过概率规划归纳的人类层次概念学习
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第2章,第2.22节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
1644 0