7.1 分类问题
逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性。
将因变量(dependent variable)可能属于的两个类分别称为负向类（negative class）和正向类（positive class），则因变量 ，其中 0 表示负向类，1 表示正向类。
如果我们要用线性回归算法来解决一个分类问题，那么假设函数的输出值可能远大于 1，或者远小于0。然而逻辑回归算法，这个算法的性质是：它的输出值永远在0到 1 之间。
逻辑回归算法是分类算法，我们将它作为分类算法使用。有时候可能因为这个算法的名字中出现了“回归”使你感到困惑，但逻辑回归算法实际上是一种分类算法，它适用于标签 y 取值离散的情况，如：1 0 0 1。
7.2 假说表示
回顾在一开始提到的乳腺癌分类问题，我们可以用线性回归的方法求出适合数据的一条直线：
根据线性回归模型我们只能预测连续的值，然而对于分类问题，我们需要输出0或1，我们可以预测：
对于上图所示的数据，这样的一个线性模型似乎能很好地完成分类任务。假使我们又观测到一个非常大尺寸的恶性肿瘤，将其作为实例加入到我们的训练集中来，这将使得我们获得一条新的直线。
这时，再使用0.5作为阀值来预测肿瘤是良性还是恶性便不合适了。可以看出，线性回归模型，因为其预测的值可以超越[0,1]的范围，并不适合解决这样的问题。
我们引入一个新的模型，逻辑回归，该模型的输出变量范围始终在0和1之间。逻辑回归模型的假设是：
其中：
代表特征向量
代表逻辑函数（logistic function)是一个常用的逻辑函数为S形函数（Sigmoid function），公式为： 。
该函数的图像为：
合起来，我们得到逻辑回归模型的假设：
。
的作用是，对于给定的输入变量，根据选择的参数计算输出变量=1的可能性（estimated probablity）即 
例如，如果对于给定的 ，通过已经确定的参数计算得出
，则表示有70%的几率 为正向类，相应地 为负向类的几率为1-0.7=0.3。
7.3 判定边界
在逻辑回归中，我们预测：
根据上面绘制出的 S 形函数图像，我们知道当
现在假设我们有一个模型：
并且参数 是向量[-3 1 1]。则当 ，即 时，模型将预测 。我们可以绘制直线 ，这条线便是我们模型的分界线，将预测为1的区域和预测为 0的区域分隔开。
假使我们的数据呈现这样的分布情况，怎样的模型才能适合呢？
因为需要用曲线才能分隔 的区域和 的区域，我们需要二次方特征：是[-1 0 0 1 1]，则我们得到的判定边界恰好是圆点在原点且半径为1的圆形。
我们可以用非常复杂的模型来适应非常复杂形状的判定边界。
7.4 代价函数
对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们将 带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数（non-convexfunction）。
这意味着我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最小值。
线性回归的代价函数为： 。我们重新定义逻辑回归的代价函数为：，其中：
与 之间的关系如下图所示：
这样构建的 函数的特点是：
当实际的 且 也为 1 时误差为 0，
当 但 不为1时误差随着 变小而变大；
当实际的 且 也为 0 时代价为 0，
当 但 不为 0时误差随着 的变大而变大。
将构建的 简化如下：
带入代价函数得到：
即：
这就是逻辑回归的代价函数：
这个式子可以合并成：
即，逻辑回归的代价函数：
最小化代价函数的方法，是使用梯度下降法(gradient descent)。
更新过程可以写成：
所以，如果你有 n个特征，也就是说：
，参数向量 包括 一直到 ，那么你就需要用这个式子：
来同时更新所有 的值。
对于线性回归假设函数：
而现在逻辑函数假设函数：
因此，即使更新参数的规则看起来基本相同，但由于假设的定义发生了变化，所以逻辑函数的梯度下降，跟线性回归的梯度下降实际上是两个完全不同的东西。
7.5 多类别分类：一对多
先看有关药物诊断的例子，如果一个病人因为鼻塞来到你的诊所，他可能并没有生病，用 这个类别来代表；或者患了感冒，用 来代表；或者得了流感用 来代表。
对于二元分类问题和多类分类问题数据如下图：
二元分类，可以使用逻辑回归，直线可以将数据集一分为二为正类和负类。
现在我们有一个训练集，好比上图表示的有3个类别，我们用三角形表示 ，方框表示 ，叉叉表示 。我们下面要做的就是使用一个训练集，将其分成3个二元分类问题。
我们先从用三角形代表的类别1开始，实际上我们可以创建一个，新的"伪"训练集，类型2和类型3定为负类，类型1设定为正类，我们创建一个新的训练集，如下图所示的那样，我们要拟合出一个合适的分类器。
为了能实现这样的转变，我们将多个类中的一个类标记为正向类（ ），然后将其他所有类都标记为负向类，这个模型记作 。接着，类似地第我们选择另一个类标记为正向类（ ），再将其它类都标记为负向类，将这个模型记作 ,依此类推。
最后我们得到一系列的模型简记为：
其中： 
最后，在我们需要做预测时，我们将所有的分类机都运行一遍，然后对每一个输入变量，都选择最高可能性的输出变量。
总之，我们已经把要做的做完了，现在要做的就是训练这个逻辑回归分类器： ， 其中 对应每一个可能的 ，最后，为了做出预测，我们给出输入一个新的 值，用这个做预测。我们要做的就是在我们三个分类器里面输入 ，然后我们选择一个让 最大的 ，即 。
无论 值是多少，我们都有最高的概率值，我们预测 就是那个值。这就是多类别分类问题，以及一对多的方法，通过这个小方法，可以将逻辑回归分类器用在多类分类的问题上。
