常见概率分布知多少——13个常用概率分布的介绍(一)

简介: 常见概率分布知多少——13个常用概率分布的介绍(一)

1、伯努利分布


这是一个二元变量x∈{0,1}的分布,例如投硬币的结果。它由一个连续参数μ∈[0,1]控制,这个参数表示x=1的概率。

   伯努利分布是二项分布对单一观测的特殊情况。它对于μ的共轭先验是Beta分布。


2、Beta分布


这是一个连续变量μ∈[0,1]的分布,经常用于表示某些二元事件的概率。它有两个参数a和b。为了保证分布能够归一化,我们要求a>0并且b>0。

   Beta分布是伯努利分布的共轭先验,其中a和b可以分别表示为x=1和x=0的观测的有效先验数量。如果a≥1且b≥1,那么它的概率密度是有限值,否者在μ=0和μ=1处会有奇异值。对于a=b=1的情形,它就简化成了均匀分布。Beta分布是K状态狄利克雷分布在K=2时的特殊情况。


3、二项分布


二项分布给出了来自伯努利分布的N个样本中观察到m次x=1的概率。伯努利分布中,观察到x=1的概率时    μ∈[0,1]。

   表示从N个完全相同的物体中选择m个物体的总方案数量。这里m!表示乘积m×(m-1)×...×2×1。二项分布中N=1这一特殊情形被称为伯努利分布,对于大的N的值,二项分布近似高斯分布。μ的共轭先验是Beat分布。


4、狄利克雷分布


狄利克雷分布是K个随机变量0≤μk≤1的多变量分布,其中k=1,...,K,并且满足下面的限制

我们有

   这里的φ(x)被称为digamma函数,为了保证概率归一化,参数αk满足限制αk>0。

   狄利克雷分布是多项式分布的共轭先验,是Beta分布的推广。这种情况下,参数αk是K维二元观察向量x对应值的有效观测数量。和Beta分布相同,如果对于所有的k都有αk>=0,那么狄利克雷分布在空间中所有位置的密度均为有限值。


5、Gamma分布


Gamma分布是正随机变量τ的概率分布,参数为a和b,满足限制a>0和b>0,保证概率分布是归一化的。

其中φ(x)被称为digamma函数。Gamma分布式单变量高斯分布的精度(方差的倒数)的共轭先验。当时,概率密度处处为有限值,a=1这一特殊情况被称为指数分布。


6、高斯分布


高斯分布是连续变量中最广泛使用的概率分布,也被称为正态分布。在一元变量x∈(负无穷大,正无穷大)的情况下,它由两个参数控制:均值μ和方差σ。

   方差的倒数τ被称为精度,方差的平方根σ被称为标准差。μ的共轭先验是高斯分布,τ的共轭先验是Gamma分布。如果μ和τ都未知,那么它们的联合共轭先验是高斯-Gamma分布。


   对于一个D维向量x,高斯分布的参数是一个D维均值向量μ和一个D×D的协方差矩阵Σ。协方差矩阵一定是对称的、正定的。

   协方差矩阵的逆矩阵叫做精度矩阵,也是对称的、正定的。根据中心极限定理,随机变量的平均值趋近于高斯分布,并且两个高斯变量之和仍然是高斯。给定方差(或者协方差),高斯分布是最大化熵值的分布。高斯随机变量的任意线性组合仍然是高斯分布。多元高斯分布的变量关于变量的一个子集的边缘分布仍然是高斯分布,类似地,条件分布也是高斯分布。μ的共轭先验仍然是高斯分布,λ的共轭先验是一个Wishart分布,(μ,λ)的共轭先验是高斯-Wishart分布。


   如果我们给定有一个x的边缘高斯分布,以及在给定x的条件下y的条件高斯分布,形式如下:

那么y的边缘分布,以及给定y的条件下x的条件分布分别为:

其中,

如果我们有一个联合高斯分布

并且定义下面的划分:

那么条件概率分布为:

边缘分布为

相关文章
|
数据可视化
ShapeNet数据集及dataset代码分析
ShapeNet数据集及dataset代码分析
2102 0
|
机器学习/深度学习 PyTorch 算法框架/工具
【实操】涨点神器你还不会,快点进来学习Label Smooth
【实操】涨点神器你还不会,快点进来学习Label Smooth
658 1
|
4月前
|
人工智能 边缘计算 监控
宠物识别算法在AI摄像头的应用实践:从多宠识别到行为分析
基于边缘计算与轻量化AI模型,本方案实现多宠家庭中宠物个体识别、行为分析与健康监测。通过端云协同架构,在本地完成实时识别(延迟<50ms),保障隐私同时支持8只宠物同屏追踪。结合多模态特征与行为模式,准确率超98%,可联动喂食器、猫砂盆等设备,为宠物提供个性化智能照护,适用于家庭、托管中心及医疗场景,推动智能养宠迈向精准化、生态化发展。
925 4
|
8月前
|
机器学习/深度学习 算法
基于自抗扰控制ADRC的永磁同步电机仿真模型(Simulink仿真实现)
基于自抗扰控制ADRC的永磁同步电机仿真模型(Simulink仿真实现)
1087 1
|
8月前
|
机器学习/深度学习 算法 5G
【MUSIC、最大似然与克拉美-罗下界】MUSIC与ESPRIT 算法来估计到达角(AoA),并尝试推导克拉美-罗下界(CRLB)以分析其性能研究(Matlab代码实现)
【MUSIC、最大似然与克拉美-罗下界】MUSIC与ESPRIT 算法来估计到达角(AoA),并尝试推导克拉美-罗下界(CRLB)以分析其性能研究(Matlab代码实现)
546 0
|
8月前
|
存储 IDE 开发工具
错误代码0xc000000e解决办法?
以下是解决错误代码0xc000000e的几种有效方法: 检查硬件连接‌
Unity精华☀️GetInstanceID 和 GetHashCode 的区别
Unity精华☀️GetInstanceID 和 GetHashCode 的区别
|
数据可视化 DataX Python
Seaborn 教程-绘图函数
Seaborn 教程-绘图函数
517 8
|
自然语言处理 Python
【Python自然语言处理】文本向量化的六种常见模型讲解(独热编码、词袋模型、词频-逆文档频率模型、N元模型、单词-向量模型、文档-向量模型)
【Python自然语言处理】文本向量化的六种常见模型讲解(独热编码、词袋模型、词频-逆文档频率模型、N元模型、单词-向量模型、文档-向量模型)
4729 0
|
网络安全 数据安全/隐私保护 Windows
websocket优缺点
websocket优缺点
1084 2