一、介绍

1. 一般形式

指数族分布有：高斯分布、伯努利分布、二项分布、泊松分布、beta分布、Dirichlet分布、gamma分布等。

指数族分布的一般形式：

其中：

2. 配分函数

3. 指数族分布的特点、模型和应用

• 充分统计量

是充分统计量。

什么是充分统计量？举例来说，对于从一些从高斯分布中抽取出来的样本 ，以下统计量就是充分统计量：

因为通过上述统计量可以计算样本的均值和方差进而得到其明确的分布。

有了充分统计量就可以将样本丢掉，从而节省了空间，对online learning有重要意义。

• 共轭

举个例子：

• 最大熵

最大熵原理给出了一种定义先验的方式，可以使得参数更加地随机。

• 广义线性模型

广义线性模型中出现的一些概念：

• 概率图模型

无向图中的RBM（限制玻尔兹曼机）应用到了指数族分布。

二、高斯分布的指数族分布形式

以一维高斯分布为例，将高斯分布整理成指数族分布的形式：

由此就将高斯分布整理成了指数族分布的形式：

三、对数配分函数与充分统计量

通过对指数族分布的通用形式进行整理，可以得出对数配分函数与充分统计量

的特定关系：

四、极大似然估计与充分统计量

上述推导都是在无样本条件下进行的，在有样本的情况下我们也可以通过极大似然估计法来获得一些特定的关系，假设有如下数据：

五、最大熵

1. 概述

首先定义信息量和熵：

2. 离散情况下的最大熵

通过求解以下约束优化问题可以求得使得离散情况下熵最大的分布：

使用拉格朗日乘子法进行求解：

离散情况下均匀分布会使得熵最大。也就是说在没有任何已知条件约束的情况下均匀分布的熵最大。

3. 最大熵原理

上一部分得出在无任何已知的情况下的最大熵对应的分布为均匀分布，而在满足一定的约束（已知事实）的条件下就要使用最大熵原理来进行求解。

首先要说明已知事实指的就是我们已经有了一部分数据：

然后根据数据我们可以定义其经验分布：

也就是说现在需要满足上述约束条件，于是在该约束下求解最大熵的分布就转换成了一个约束优化问题：

显示 是一个指数族分布，因此对于连续变量 ，其在满足既定事实的条件下对应的最大熵的分布是一个指数族分布。