一、从线性回归到线性分类

1. 线性回归的特性

全局性指的是线性回归是在整个特征空间上学习，并没有将特征空间进行划分然后在每个划分上学习。

数据未加工指的是线性回归直接在给定数据上进行学习没有对数据进行其他的加工。

其他的学习算法跟线性回归比较起来打破了其某些特性，在上面的树状图中也举出了一些例子。

2. 从线性回归到线性分类

线性回归经过一个激活函数然后根据一个阈值来获得分类的结果，如此就成为线性分类，也可以理解为将 降维到一维而获得分类结果。

3. 硬分类和软分类

二、感知机

1. 概述

2. 学习策略

可以确定对于误分类的数据 来说，满足以下关系：

损失函数的一个自然选择是误分类点的个数，即 ，但是这样的损失函数是不可导的，不易优化。因此采用另一种损失函数，即误分类点到超平面的总距离。

在 空间中任一点 到超平面的距离为:

因此所有误分类点到超平面 的总距离为：

不考虑 ，就得到感知机的损失函数：

3. 学习算法

计算损失函数的梯度：

①选取初值

②在训练集中选取数据

③如果 ，则更新参数：

④转至②，直到训练集中没有误分类点。

截止这里我们都是假设数据是线性可分的，如果线性不可分，可以用口袋算法（pocket algorithm），这里不做过多介绍。

三、线性判别分析

1. 概述

线性判别分析可用于处理二分类问题，其过程是寻找一个最佳的投影方向，使得样本点在该方向上的投影符合类内小、类间大的思想，具体指的是类内的方差之和小，类间的均值之差大。

                                                   LDA

假设有以下数据：

2. 线性判别分析的损失函数

接下来计算每一类的均值和方差：

定义损失函数：

极大化 就可以使得类内的方差之和小，类间的均值之差大。

3. 线性判别分析的求解

四、逻辑回归

1. 概述

假设有如下数据：

其图像为：

                                          sigmoid函数

3. 逻辑回归的模型

4. 逻辑回归的求解

因此这里的极大似然估计就等价于极小化交叉熵损失函数。

求导的过程较为简单，就不做展示了。

五、高斯判别分析

1. 概述

假设有如下数据：

2. 高斯判别分析的模型

在高斯判别分析中样本数据的类别 在给定的情况下服从伯努利分布，另外不同类别中的样本数据分别服从多元高斯分布，因此有以下模型：

这里假设两个高斯分布具有同样的方差。

3. 高斯判别模型的求解

• 损失函数

然后使用极大似然估计法来求解：

以下是求解过程中用到的一些预备知识：

两类数据按照以下两个集合来表示：

然后进行求解：

然后求解上式中的通项：

六、朴素贝叶斯

1. 概述

假设有如下数据：

2. 朴素贝叶斯的模型

朴素贝叶斯分类器可以用来做多分类，其基本思想是条件独立性假设，即假设数据的每个特征之间是相互独立的，其形式化表达为

朴素贝叶斯分类器是最简单的概率图模型（有向图）:

                                           概率图

至于其求解过程则可以根据具体情况使用极大似然估计法即可。对于朴素贝叶斯方法重要的是理解其条件独立性假设，这个假设也是其被称为“朴素（Naive）”的原因。

参考资料

ref:李航《统计学习方法》