一、逻辑斯蒂分布
逻辑斯蒂分布也叫作增长分布,其分布函数是一个增长函数。
设X是连续随机变量,X服从逻辑斯谛分布是指X具有下列分布函数和密度函数:
在不同参数下分布函数p ( x ; μ , γ ) 的图像如下所示(图中的s是参数γ ):
根据分布函数我们可以看出图像呈s型,且关于点成中心对称,曲线在两端的增长速度很慢,在中间的增长速度很快,且的值越小增长速度越快。
当我们选择的时候,逻辑斯蒂概率分布函数就是我们逻辑斯蒂回归中药用到的sigmoid函数,即:
二、逻辑回归的由来
我们都知道了线性回归可以进行回归学习,但是想要去做分类问题的时候应该怎么办呢?其实我们只需要去找到一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。
我们首先考虑二分类任务,其输出标记为y={0,1},而线性回归模型产生的预测值z=w^Tx+b是实值,我们需要的是将这个实值z转换为0/1值,最理想的是“单位阶跃函数”,也就是如下的形式。
这个函数代表的也就是若预测值z大于0就判为正例,小于0则判为负例,预测值为临界值0则可以任意判别,对应的图形表示如下。
对于图中的单位阶跃函数(红色)我们可以看出它并不是连续的,于是我们希望找到能在一定程度上近似单位阶跃函数的替代函数,并希望它是单调可微的,也就是如下的形式:
三、逻辑回归的推导
对于上文中这种将z(线性回归函数)带入到sigmoid函数转化为分类问题的形式我们可以把它叫做逻辑回归(logistic regression)