一、概述

1. 基本规则
2. 
   

概率图模型使用图的形式表示概率分布，首先总结一下几个随机变量分布的一些规则：

2. 简化运算的假设

在链式规则中如果数据的维度过高，就会出现计算复杂的困境，因此我们需要对此做出一些简化，以下是一些例子：

3. 概率图模型的知识体系

二、有向图-贝叶斯网络

1. 基本结构

已知联合概率分布中各个随机变量的依赖关系，可以根据拓扑排序（依赖关系）得到一个有向图。而如果已知一个有向图，可以直接得到联合概率分布的因子分解：

在局部的任何三个节点，可以有以下三种结构：

• head to tail

                     head to tail

这种结构满足：

阻塞也就是独立的意思。

通过因子分解和链式规则可以进行证明：

• tail to tail

                           tail to tail

这种结构满足：

通过因子分解和链式规则可以进行证明：

• head to head

           head to head

这种结构满足：

通过因子分解和链式规则可以进行证明：

2. D划分（D-Seperation）

                                                条件独立性

3. 马尔可夫毯（Markov Blanket）

现在来看一下以下概率：

                                         马尔可夫毯（Markov Blanket）

4. 具体模型

实际应⽤的模型中，对这些条件独⽴性作出了假设，从单⼀到混合，从有限到⽆限（时间，空间）可以分为：

                                   GMM 与时序结合的动态模型：

• HMM（离散）

• 线性动态系统 LDS（Kalman 滤波）

• 粒⼦滤波（⾮⾼斯，⾮线性）

三、无向图-马尔可夫网络（马尔可夫随机场）

1. 全局、局部、成对马尔可夫性

马尔可夫随机场的条件独立性体现在三个方面：

①全局马尔可夫性

②局部马尔可夫性

③成对马尔可夫性

全局、局部、成对马尔可夫性是相互等价的，也就是说可以相互推出来。

• 全局马尔可夫性

                                            全局马尔可夫性

• 局部马尔可夫性

                                      局部马尔可夫性

• 成对马尔可夫性

成对马尔可夫性是指给定所有其他变量，两个非邻接变量条件独立，即：

2. 因子分解

引入团的概念：

团，最大团：图中节点的集合，集合中的节点之间全部互相连接的叫做团，如果不能再添加任何节点，就叫做最大团。

最大团的概念可以参考数据结构中的极大连通子图。

将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式的操作，称为概率无向图模型的因子分解。