机器学习:逻辑回归 一句话概括逻辑回归:
逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法,运用梯度下降来求解参数,达到将数据二分类的目的。
原理:
有一组特征变量:,表示为x,
一组参数:,表示为θ,
,表示为,值域为(-∞,﹢∞)。
将值域归到0~1之间,则可以符合概率的值域:
现有一组样本:
极大似然函数:
极大似然函数再取对数,变成对数损失函数,对数损失函数是连续可导的凸函数,可以用梯度下降求解。
特点:
很多特征高度相关,不会影响效果,但去掉高相关特征可解释性更强,还可提高训练速度。
优点:形式简单,可解释性强,训练快,内存小。
缺点:复杂的数据分布、非线性、多分类、数据不平衡效果都不好
原文地址https://blog.csdn.net/rona1/article/details/80760299