1 区别
（1）判别模型
学习P(x|y)。是用一个模型或函数直接拟合概率分布P(y|x)，拟合P(x|y)，是拟合从果到因的关系，即在Y发生的条件下，X发生的概率，对应实际训练中，是根据label来训练模型，再来判断类别，这种拟合出来的模型叫判别模型。
（2）生成模型
学习P(y|x)。公式拆解为三个部分
P(Y|X)=P(X|Y)P(Y)P(X)�(�|�)=�(�|�)�(�)�(�)
- P(x,y)是联合概率分布，是要拟合的东西，
- P(x)表示x的概率
- P(y)可通过样本的label直接求
则生成模型的过程解释为先拟合一个概率分布（本质是拟合P(x|y)，因为P(x,y)=P(x|y)P(y)），再根据概率分布中最大的值，来判断数据的类型。拟合P(y|x)，是拟合从因到果的关系，这种拟合出来的模型叫生成模型。说白了就是，生成模型根据联合概率分布可以采样生成数据。
注释：P ( x | y )：表示在Y发生的条件下，X发生的概率。P ( x , y )：是联合概率分布。P(x,y)=P(X=x and Y=y)，就是同时对于X和Y的概率分布.
总结：直接拟合P (x|y)的是判别模型。直接拟合概念分布P(y,x)，或者说间接拟合P(y|x)的是生成模型。
2 举例
（1）常见的判别模型
- K近邻(KNN)
- 线性回归(Linear Regression)
- 逻辑斯蒂回归(Logistic Regression)
- 神经网络(NN)
- 支持向量机(SVM)
- 高斯过程(Gaussian Process)
- 条件随机场(CRF)
- 分类回归树CART(Classification and Regression Tree)
（2）常见的生成模型
- LDA主题模型
- 朴素贝叶斯
- 混合高斯模型
- 隐马尔科夫模型(HMM)！
- 贝叶斯网络
- Sigmoid Belief Networks
- 马尔科夫随机场(Markov Random Fields)
- 深度信念网络(DBN)
3 优缺点
（1）生成模型
优点：
- 生成给出的是联合分布，不仅能够由联合分布计算条件概率分布，还可以给出其他信息，比如可以使用来计算边缘概率分布。如果一个输入样本的边缘分布很小的话，那么可以认为学习出的这个模型可能不太适合对这个样本进行分类，分类效果可能会不好，这也是所谓的outlier detection。
- 生成模型收敛速度比较快，即当样本数量较多时，生成模型能更快地收敛于真实模型。
- 生成模型能够解决存在隐变量的情况，比如混合高斯模型就是含有隐变量的生成方法。
缺点：
- 联合分布虽然能提供更多的信息，但也需要更多的样本和更多计算。当为了更准确估计类别条件分布，需要增加样本的数目，而且类别条件概率的许多信息是我们做分类用不到，因而如果我们只需要做分类任务，就浪费了计算资源。
- 实践中多数情况下，没有判别模型效果好。
（２）判别模型
优点：
- 节省计算资源，需要的样本数量也少于生成模型。
- 准确率往往较生成模型高。
- 由于直接学习，而不需要求解类别条件概率，所以允许我们对输入进行抽象（比如降维、构造等），从而能够简化学习问题。
缺点：
- 是没有生成模型的上述优点。
