分类和回归问题
首先我们来明确两个大类：分类问题和回归问题。
分类问题：输出变量为有限个离散变量的预测问题为分类问题
回归问题：输入变量与输出变量均为连续变量的预测问题是回归问题
举个例子：
预测明天的气温是多少度，这是一个回归问题；
预测明天是阴、晴还是雨，就是一个分类问题。
线性回归
线性回归是一个典型的回归算法，所谓的线性回归指的就是用一条直线能够较为准确的描述数据之间的关系，当有新的数据出现时，根据这条直线我们就能够预测出一个值。常见的一个问题便是房价的预测问题，如下图：该问题准确的描述了房屋面积和房屋价格之间的关系。
逻辑回归
乍一听这个名字，很多人把它当作为回归问题，其实逻辑回归是分类问题中最常用的模型之一。
逻辑回归是什么请看这里
有何异同
实际在逻辑回归中，因变量取值是一个二元分布，模型学习得出的是
，即给定了自变量和超参数之后，得到因变量的期望，并基于此期望来处理预测分类问题。而在现行回归中我们求解的是
是对我们假设的真实关系
的一个近似，后面的ϵϵ表示的是误差项，我们使用这个近似项来处理回归问题。
从另一个角度看逻辑回归和线性回归都使用了极大似然估计来对训练样本进行建模，线性回归使用最小二乘法，实际上就是在变量和超参数θ确定的情况下，因变量服从正态分布的假设下，使用极大似然估计的一个化简；而在逻辑回归中通过对似然函数的学习最终得到最佳参数θ。
