常见概率分布知多少——13个常用概率分布的介绍(二)

简介: 常见概率分布知多少——13个常用概率分布的介绍(二)

7、高斯-Gamma分布


这是一元高斯分布的共轭先验,其中均值和精度均未知。这个分布也被称为正态-Gamma分布。它的精度正比于的的高斯分布与λ的Gamma分布的乘积。


8、高斯-Wishart分布


这是多元高斯分布的共轭先验,其中均值和精度均未知。这个分布也被称为正态-Wishart分布。它的精度正比于λ的μ的高斯分布与λ的Wishart分布的乘积。

对于标量x的情况,它等价于高斯-Gamma分布。


9、多项式分布


如果我们把伯努利分布推广到K维二元变量x,分量xk∈{0,1}且Σxk=1,那么由下面的离散分布:

   多项式分布式二项分布对于多元变量的推广,给出了一个具有K个状态的离散变量在总计N次观测中处于状态k的次数mk的分布。

并且

   给出了把N个相同的物体中的个放到箱子k中的方案总数,其中k=1,......,K。其中μk的值给出了随机变量处于k状态的概率,因此必须满足=0<μk<=1且Σxk=1。参数{μk}的共轭先验是狄利克雷分布。


10、学生t分布


在一元变量的形式下,学生t分布可以通过下列方式获得:拿出一元高斯分布的精度的共轭先验,然后把精度变量积分出来。因此这个分布可以看成无限多个有着相同均值不同方差的高斯分布的混合。

   这里v>0被称为分布的自由度数。的特殊情况被叫做柯西分布。


   对于一个D维变量x,学生t分布将多元高斯的精度矩阵关于共轭Wishart先验积分的结果,形式为:

其中Δ2被定义为马氏距离:

   在极限的情况下,t分布简化为均值,精度的高斯分布。学生t分布提供了对高斯分布泛化的一种形式,这种分布的最大似然参数值对离群点比较鲁棒。


11、均匀分布


这是连续变量x的一种简单分布。x定义在有限区间[a,b],且b>a:

   如果x服从均匀分布U(x|0,1),那么a+(b-a)x服从均匀分布U(x|a,b)。


12、Von Mises分布


Von Mises分布,也被称为环形正态分布或者环形高斯分布,是一元变量θ∈[0,2Π]的类似高斯的周期分布。

   其中I是零阶第一类Bessel函数。分布的周期是θ∈[0,2Π],因此对于所有的都有θ∈[0,2Π]。在表述这个分布时需要小心,因为简单的期望都要取决于变量的原点的(任意)选择。参数类似于一元高斯分布的均值,也被称为concentration参数,类似于高斯分布的精度(方差的倒数)。对于大的m值,Von Mises分布近似于以为中心的高斯分布。


14、Wishart分布


Wishart分布是多元高斯的精度矩阵的共轭先验。

其中,W是一个D×D对称正定矩阵,φ(x)为digamma函数。参数v被定义为分布的自由度的数量,满足限制,以保证归一化引子中的Gamma函数有着良好的定义。在一维情况下,Wishart分布就变成Gamma分布,参数为


常见分布表


相关文章
|
2月前
|
Python
联合概率 边缘概率 条件概率 贝叶斯定理
联合概率 边缘概率 条件概率 贝叶斯定理
24 0
|
11月前
【概率论基础】Probability | 数学性概率 | 统计性概率 | 几何概率 | 概率论三大公理
【概率论基础】Probability | 数学性概率 | 统计性概率 | 几何概率 | 概率论三大公理
107 0
第8章 概率统计——8.3 累积概率分布
第8章 概率统计——8.3 累积概率分布
第8章 概率统计——8.3 累积概率分布
|
资源调度 数据处理
第8章 概率统计——8.1 产生随机变量
第8章 概率统计——8.1 产生随机变量
常见概率分布知多少——13个常用概率分布的介绍(一)
常见概率分布知多少——13个常用概率分布的介绍(一)
322 0
|
机器学习/深度学习 人工智能 JavaScript
【Pytorch神经网络理论篇】 21 信息熵与互信息:联合熵+条件熵+交叉熵+相对熵/KL散度/信息散度+JS散度
对抗神经网络(如DIM模型)及图神经网络(如DGI模型)中,使用互信息来作为无监督方式提取特征的方法。
844 0
|
机器学习/深度学习 人工智能 资源调度
【机器学习】线性回归——最小二乘法的概率解释高斯噪声(理论+图解+公式推导)
【机器学习】线性回归——最小二乘法的概率解释高斯噪声(理论+图解+公式推导)
289 0
【机器学习】线性回归——最小二乘法的概率解释高斯噪声(理论+图解+公式推导)
|
BI
统计学习--最大似然和贝叶斯估计的联系
概率是已知模型和参数,推数据;统计是已知数据,推模型和参数
113 0
统计学习--最大似然和贝叶斯估计的联系
|
人工智能 开发者
后验概率估计 | 学习笔记
快速学习后验概率估计
134 0
后验概率估计 | 学习笔记
|
人工智能 开发者
条件概率 | 学习笔记
快速学习条件概率
143 0
条件概率 | 学习笔记
下一篇
无影云桌面