条件独立5条重要性质及其证明

条件独立

设 $V = {V_1, V_2, \dots}$ 表示变量的有限集合。设 $P(⋅)$ 是 $V$ 中变量的联合概率分布函数。$X, Y, Z, W$ 表示 $V$ 中变量的子集，即$X, Y, Z, W \in V$。当给定 $Z$ 时，如果
$$
P(x \mid y, z) = P(x \mid z)\quad\quad P(y, z) \gt 0
$$
则 $X, Y$ 条件独立。

我们用符号 $(X {\perp!!!\perp} Y \mid Z)$ 表示条件独立，即
$$
(X {\perp!!!\perp} Y \mid Z) \iff P(x \mid y, z) = P(x \mid z)
$$
条件独立有5条重要的性质：

对称性：$(X {\perp!!!\perp} Y \mid Z) \implies (X {\perp!!!\perp} Y \mid Z)$

$$
\tag{1}(X {\perp!!!\perp} Y \mid Z) \iff P(x \mid y,z)=P(x \mid z)
$$
$$
\tag{2}(Y {\perp!!!\perp} X \mid Z) \iff P(y \mid x,z)=P(y \mid z)
$$

利用乘法公式，1式和2式可以改写为：
$$
\tag{3}\frac {P(x,y,z)} {\boxed{P(y,z)}} = \frac {\boxed{P(x,z)}} {P(z)}
$$

$$
\tag{4}\frac {P(x,y,z)} {P(x,z)} = \frac {P(y,z)} {P(z)}
$$

3式方框标注部分位置对换一下，就是4式。$\quad\blacksquare$

分解性：$(X {\perp!!!\perp} YW \mid Z) \implies (X {\perp!!!\perp} Y \mid Z)$

$$
\tag{1}(X {\perp!!!\perp} YW \mid Z) \iff P(x \mid y,z,w) = P(x \mid z)
$$
$$
\tag{2}(X {\perp!!!\perp} Y \mid Z) \iff P(x \mid y,z) = P(x \mid z)
$$

根据公式：$P(A \mid K) = \displaystyle{\sum_{i} P(A \mid B_i, K)P(Bi \mid K)}$
$$
\tag{3}P(x \mid y,z) = \sum{w \in W} P(x \mid y,z,w)P(w \mid y,z)
$$
根据1式，$P(x \mid y,z,w)=P(x \mid z)$，带入3式得：
$$
\tag{4}P(x \mid y,z) = \sum{w \in W} P(x \mid z)P(w \mid y,z) = P(x \mid z) \sum{w \in W}P(w \mid y,z)
$$

因为对任意$\forall w \in W$的情况都取到了，所以$\displaystyle{\sum_{w \in W}P(w \mid y,z)}$求和的结果就是1：
$$
\therefore \tag{5}P(x \mid y,z) = P(x \mid z) \quad \blacksquare
$$

弱连性：$(X {\perp!!!\perp} Y W\mid Z) \implies (X {\perp!!!\perp} Y \mid ZW)$

$$
\tag{1}(X {\perp!!!\perp} YW \mid Z) \iff P(x \mid y,z,w)=P(x \mid z)
$$
$$
\tag{2}(X {\perp!!!\perp} Y \mid ZW) \iff P(x \mid y,z,w)=P(x \mid z,w)
$$

根据公式：$P(A \mid K) = \displaystyle{\sum_{i} P(A \mid B_i, K)P(Bi \mid K)}$
$$
\tag{3}P(x \mid z,w) = \sum{y \in Y} P(x \mid y,z,w)P(y \mid z,w)
$$
根据1式$P(x \mid y,z,w)=P(x \mid z)$，带入3式得：
$$
\tag{4}P(x \mid z,w) = \sum{y \in Y} P(x \mid z)P(y \mid z,w) = P(x \mid z) \sum{y \in Y} P(y \mid z,w)
$$

因为对任意$\forall y \in Y$的情况都取到了，所以$\displaystyle\sum_{y \in Y} {P(y \mid z,w)} = 1$，
$$
\therefore P(x \mid z,w) = P(x \mid z) = P(x \mid y,z,w) \quad \blacksquare
$$

缩并性：$(X {\perp!!!\perp} Y \mid Z) \& (X {\perp!!!\perp} W \mid ZY) \implies (X {\perp!!!\perp} YW \mid Z)$

$$
\begin{cases}
(X {\perp!!!\perp} Y \mid Z) &\iff P(x \mid y,z)=P(x \mid z) &\text{(1)}\
(X {\perp!!!\perp} W \mid ZY) &\iff P(x \mid y,z,w)=P(x \mid y,z)&\text{(2)}
\end{cases}
$$

要证明：
$$
\tag{3}(X {\perp!!!\perp} YW \mid Z) \iff P(x \mid y,z,w)=P(x \mid z)
$$
1式左边和2式右边相同，两式一合并：
$$
\tag{4}P(x \mid y,z,w) = P(x \mid z)
$$
4式就是要证明的3式。$\quad \blacksquare$

相交性：$(X {\perp!!!\perp} W \mid ZY) \& (X {\perp!!!\perp} Y \mid ZW) \implies (X {\perp!!!\perp} YW \mid Z)$

$$
\begin{cases}
(X {\perp!!!\perp} W \mid ZY) \iff P(x \mid y,z,w)=P(x \mid y,z) &\text{(1)}\
(X {\perp!!!\perp} Y \mid ZW) \iff P(x \mid y,z,w)=P(x \mid z,w) &\text{(2)}
\end{cases}
$$

要证明：
$$
\tag{3}(X {\perp!!!\perp} YW \mid Z) \iff P(x \mid y,z,w)=P(x \mid z)
$$
1式2式左边相同，两式一合并：
$$
\tag{4}P(x \mid y,z) = P(x \mid z,w)
$$

利用乘法公式，4式可写做：
$$
\tag{5}\frac {P(x,y,z)} {\boxed{P(y,z)}} = \frac {\boxed{P(x,z,w)}} {P(z,w)}
$$
交换5式方框部分，并对$Y$进行边缘化：
$$
\tag{6}\frac {\displaystyle\sum{Y} P(x,y,z)} {P(x,z,w)} = \frac {\displaystyle\sum{Y} P(y,z)} {P(z,w)}
$$
根据全概率公式，得：
$$
\tag{7}\frac {P(x,z)} {\boxed{P(x,z,w)}} = \frac {\boxed{P(z)}} {P(z,w)}
$$

交换方框部分，得
$$
\tag{8}\frac {P(x,z)} {P(z)} = \frac {P(x,z,w)} {P(z,w)}
$$
将8式写成条件概率
$$
\tag{9}P(x \mid z)=P(x \mid z,w)
$$
9式和2式一合并，即可得：$P(x \mid y,z,w)=P(x \mid z)$，这就是我们要证明的3式。$\quad \blacksquare$