1、分类问题-classification

区分垃圾邮件(0-1分类问题)，网上交易是否诈骗(0-1分类问题)，判断肿瘤是否为良性(0-1分类问题)都为简单的二元分类问题。用线性回归方式来解决分类问题的思路为：首先根据给定的训练数据来拟合一条线性函数，之后找到纵坐标为0.5的对应的横坐标的值 v a l val val，之后将小于 v a l val val的值标记为分类1，将大于 v a l val val的值标记为分类0。这种方法会受到训练数据较大的影响，若有一个偏离较大的训练数据，则会让回归函数出现较大的偏离，使得预测结果变得很差。

2、 逻辑回归-Logistic Regression

使用线性回归来解决分类问题的另一大弊端在于当前需要的预测值y∈{0,1}，而线性回归函数的值包含任意值，为了解决这个问题，可以将假设函数的形式进行更改，使得 0≤hθ(x)≤1，从而引出Logistic Functin或者叫做Sigmoid Function。Sigmoid Function的函数表达式和函数图像如下所示：

hθ(x)=g(θTx)

g(z)=1+e−z1

hθ(x)=1+e−θTx1

上述Sigmoid Function将给出  hθ(x)输出为1的概率，例如当

hθ(x)=0.7时，表示输出有70%概率为1，同时表示输出有30%概率为0。所以Sigmoid Function可以很好地解决0-1分类问题。当输出不小于0.5将这个实验数据划分到1的分类中，否则划分到0的分类中。

hθ(x)=P(y=1∣x;θ)=1−P(y=0∣x;θ)

2.1 决策边界

上述提到，当 h θ ( x ) h_{\theta}(x) hθ(x)的值不小于0.5将这个实验数据划分到1的分类中，否则划分到0的分类中，即

hθ(x)≥0.5→y=1

hθ(x)<0.5→y=0

根据上述Sigmoid Function函数图像可以得出下述结论：

g(z)≥0.5  when  z≥0

根据上述式子可以推出：

hθ(x)=g(θTx)≥0.5  when  θTx≥0

所以有：

θTx≥0→y=1

θTx<0→y=0

通过下述示例来进一步理解决策边界：

上例中决策边界为  x=5，当  x≤5时，  y=1；当 x>5时，  y=0。

同时需要注意，决策边界不一定为线性的形式，也可以为二次或者高次函数。

通过上述分析可以看出，训练数据集不是用来确定决策边界的，而是用来训练参数 θ \theta θ的，一旦得到一组确定的参数 θ \theta θ，就可以根据上述方法确定出决策边界。