7、高斯-Gamma分布
这是一元高斯分布的共轭先验,其中均值和精度均未知。这个分布也被称为正态-Gamma分布。它的精度正比于的的高斯分布与λ的Gamma分布的乘积。
8、高斯-Wishart分布
这是多元高斯分布的共轭先验,其中均值和精度均未知。这个分布也被称为正态-Wishart分布。它的精度正比于λ的μ的高斯分布与λ的Wishart分布的乘积。
对于标量x的情况,它等价于高斯-Gamma分布。
9、多项式分布
如果我们把伯努利分布推广到K维二元变量x,分量xk∈{0,1}且Σxk=1,那么由下面的离散分布:
多项式分布式二项分布对于多元变量的推广,给出了一个具有K个状态的离散变量在总计N次观测中处于状态k的次数mk的分布。
并且
给出了把N个相同的物体中的个放到箱子k中的方案总数,其中k=1,......,K。其中μk的值给出了随机变量处于k状态的概率,因此必须满足=0<μk<=1且Σxk=1。参数{μk}的共轭先验是狄利克雷分布。
10、学生t分布
在一元变量的形式下,学生t分布可以通过下列方式获得:拿出一元高斯分布的精度的共轭先验,然后把精度变量积分出来。因此这个分布可以看成无限多个有着相同均值不同方差的高斯分布的混合。
这里v>0被称为分布的自由度数。的特殊情况被叫做柯西分布。
对于一个D维变量x,学生t分布将多元高斯的精度矩阵关于共轭Wishart先验积分的结果,形式为:
其中Δ2被定义为马氏距离:
在极限的情况下,t分布简化为均值,精度的高斯分布。学生t分布提供了对高斯分布泛化的一种形式,这种分布的最大似然参数值对离群点比较鲁棒。
11、均匀分布
这是连续变量x的一种简单分布。x定义在有限区间[a,b],且b>a:
如果x服从均匀分布U(x|0,1),那么a+(b-a)x服从均匀分布U(x|a,b)。
12、Von Mises分布
Von Mises分布,也被称为环形正态分布或者环形高斯分布,是一元变量θ∈[0,2Π]的类似高斯的周期分布。
其中I是零阶第一类Bessel函数。分布的周期是θ∈[0,2Π],因此对于所有的都有θ∈[0,2Π]。在表述这个分布时需要小心,因为简单的期望都要取决于变量的原点的(任意)选择。参数类似于一元高斯分布的均值,也被称为concentration参数,类似于高斯分布的精度(方差的倒数)。对于大的m值,Von Mises分布近似于以为中心的高斯分布。
14、Wishart分布
Wishart分布是多元高斯的精度矩阵的共轭先验。
其中,W是一个D×D对称正定矩阵,φ(x)为digamma函数。参数v被定义为分布的自由度的数量,满足限制,以保证归一化引子中的Gamma函数有着良好的定义。在一维情况下,Wishart分布就变成Gamma分布,参数为
常见分布表