一、习题

1、以下属于生成式模型的是：（ C ）

A、SVM

B、随机森林

C、隐马尔可夫模型HMM

D、逻辑回归

常见的生成式模型有 隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA等

2、以下几种模型方法属于判别式模型的有 （ C ）

1)混合高斯模型

2)条件随机场模型

3)区分度训练

4)隐马尔科夫模型

A、1,4

B、3,4

C、2,3

D、1,2

公式上看

生成模型： 学习时先得到 P(x,y)，继而得到 P(y|x)。预测时应用最大后验概率法（MAP）得到预测类别 y。

判别模型： 直接学习得到P(y|x)，利用MAP得到 y。或者直接学得一个映射函数 y=f(x)。

直观上看

生成模型： 关注数据是如何生成的

判别模型： 关注类别之间的差别

生成式模型

判别式分析

朴素贝叶斯

混合高斯模型

隐马尔科夫模型（HMM）

贝叶斯网络

Sigmoid Belief Networks

马尔科夫随机场（Markov Random Fields）

深度信念网络（DBN）

判别式模型

线性回归（Linear Regression）

K近邻（KNN）

逻辑斯蒂回归（Logistic Regression）

神经网络（NN）

支持向量机（SVM）

高斯过程（Gaussian Process）

条件随机场（CRF）

CART（Classification and Regression Tree）

3、下面关于支持向量机（SVM）的描述错误的是 （ C ）

A、是一种监督式学习的方法

B、可用于多分类的问题

C、是一种生成式模型

D、支持非线性的核函数

属于判别式模型，直接对条件概率p(y|x;θ)建模

4、下列模型属于机器学习生成式模型的是 （ ABCD ）

A、朴素贝叶斯

B、隐马尔科夫模型(HMM)

C、马尔科夫随机场(Markov Random Fields)

D、深度信念网络(DBN)

5、有监督机器学习方法可以被分为判别式模型和生成式模型，下面属于生成式模型的有 （ B C ）

A、SVM支持向量机

B、朴素贝叶斯

C、隐马尔科夫

D、logistic回归

判别式模型(Discriminative Model)：直接对条件概率p(y|x)进行建模，如：线性回归、逻辑回归、决策树、支持向量机SVM、k近邻、神经网络等；

生成式模型(Generative Model)：对联合分布概率p(x,y)进行建模，然后求出条件概率作为预测模型，如：隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA 等；

二、总结

1、两种不同的模型都用于监督学习任务中。

2、监督学习的任务就是从数据中学习一个模型，并用基于这个模型对给定的输入预测相应的输出。这种模型的一般形式为决策函数 y=f(x)或者条件概率分布P(y|x) 。

3、判别方法不关心背后的数据分布，关心的是对于给定的输入，应该预测什么样的输出。

4、生成模型估计的是联合概率分布，判别式模型估计的是条件概率分布。