2.3 边缘化
任意单变量的概率分布都可以通过在联合概率分布上求其他变量的和(离散)或积分(连续)而得到(见图2-4)。例如,如果x和y是连续的,并且已知Pr(x,y),那么通过如下计算就可以得到概率分布Pr(x)和Pr(y):
Pr(x)=∫Pr(x,y)dy
Pr(y)=∫Pr(x,y)dx
所求出的分布Pr(x)和Pr(y)称为边缘分布,其他变量的积分/求和过程称为边缘化。联合分布Pr(x,y)中忽略变量y的影响,计算边缘分布Pr(x)的过程也可以简单地解释为:计算x的概率分布且忽略(或不考虑)y的值。
(2-1)图2-4 联合概率分布和边缘概率分布。边缘概率Pr(x)由联合概率Pr(x,y)中对所有的y值求和(离散)或积分(连续)所得。同样,边缘概率Pr(y)是通过对所有x求和或积分而得的。注意,由边缘分布与联合分布具有不同的比例(在同一比例下,边缘分布会由于是从一个方向求得的和值所以显得更大)。a) x和y是连续的。b) x和y是离散的。c) 随机变量x是连续变量,变量y是离散的
一般来说,可以通过边缘化所有其他的变量求出任何变量子集的联合概率。例如,给定变量w、x、y、z,其中w是离散的,z是连续的,可以使用下面的式子求得Pr(x,y):
Pr(x,y)=∑w∫Pr(w,x,y,z)dz(2-2)