一、概述

高斯网络是一种概率图模型，对于普通的概率图模型，其随机变量的概率分布是离散的，而高斯网络的概率分布是连续的高斯分布。高斯网络也分为有向图和无向图，其中有向图叫做高斯贝叶斯网络（Gaussian Bayesian Network，GBN），无向图叫做高斯马尔可夫网络（Gaussian Markov Network，GMN）。概率图模型的分类大致如下：

二、高斯贝叶斯网络

1. 有向概率图模型的因子分解

GBN作为一种有向概率图模型，同样服从有向图的因子分解：

2. 线性高斯模型

GBN从局部来看是一个线性高斯模型，举例来说，就是下面两个两个随机变量之间满足线性关系，同时包含一定的噪声，噪声服从高斯分布：

           线性高斯模型

其概率表示如下：

3. 类比线性动态系统

对于GBN是线性高斯模型这一点可以类比之前讲过的线性动态系统（Linear Dynamic System，LDS），参考链接：卡尔曼滤波|机器学习推导系列（十八）。

LDS是一种特殊的GBN，它的概率图模型如下：

                                                  LDS

在LDS中每个节点都只有一个父亲节点，其概率为：

写成条件概率的形式就是：

LDS 的假设是相邻时刻的变量之间的依赖关系，因此是一个局域模型，而GBN每⼀个节点的父亲节点不⼀定只有⼀个，因此可以看成是⼀个全局的模型。

4. 高斯贝叶斯网络的表示

在GBN中，对于每一个节点，其概率可以写成以下标准形式：

然后将前面的式子写成向量形式：

整理一下，也就有：

因此协方差矩阵就可以写成：

三、高斯马尔可夫网络

1. 高斯贝叶斯网络的表示

对于无向图的高斯网络，其概率可以表示为：

而对于多维高斯分布的概率表达形式：

我们可以根据上式进行整理来探索上述两个不同的概率公式之间的联系：

讨论上面的内容是为了说明以下结论：一个多维高斯分布对应着一个GMN，我们在学习这个多维高斯分布时，除了学习到这个分布的参数，同时也学习到了这个GMN的结构，这是因为如果我们学习到 的话，这表示在概率图上对应的两个节点之间是没有边的。

2. 其他性质

对于无向图高斯网络来说，除了满足全局独立性和条件独立性以外，还满足另外一个性质，也就是：

上述性质的得出是根据 来求解条件概率分布，而求解高斯分布的条件概率分布的方法在之前的课程中已经介绍过了，参考链接：高斯分布|机器学习推导系列（二）。