开发者学堂课程【高校精品课-华东师范大学-人工智能基础：逻辑回归参数的确定】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/920/detail/15592
逻辑回归参数的确定
上次介绍了逻辑回归函数的形式和作用，本次介绍逻辑回归参数的确定方法。
·首先，已知线性回归的表达式为:. y = W1X1+…十 WnXn + b
接下来需要对参数进行确定，相比线性回归方程复杂一些，通常采用的方法是先设置一个目标值，然后迭代调整参数，最终使结果逼近目标值。
一种常见的解法是设置损失函数为目标函数。以损失函数取得最小值为目标值，并且不断地迭代调整达到理想的最终结果。损失函数可以使用对数损失函数，对数损失函数也成为对数自然损失函数，是在概率估计的基础上定义的，可以用于评估分类器的概率输出。
对数损失函数用于评估分类器的概率输出，形式如下:
L(Y,P(Y|X))=-log(P(YIX)
其中P(YIX)代表正确分类的概率，损失函数是其对数取反。再代入前面的逻辑回归函数h(y)，得到逻辑回归损失函数如下:
利用梯度下降法逐步最小化损失函数，找准梯度下降方向，也就是偏导数的反方向，每次前进一小步，直到结果到达结束条件。
就如同下山一样，如图所示，想从当前位置达到最低位置，最佳路径是梯度最大的方向，即最陡峭的方向，例如从C点前进到 D 点的下降方向。梯度下降方法便捷、效果好但是也存在一定的问题，例如最容易发生的情况就是得到局部最优解，也就是在下山的过程中，由于当前位置和全局最低点的分布很有可能发生以下情况：沿着最陡峭的方向前进，结果到达的方向不是最低点。
例如从 A 点下降到 B 点，很显然 B 并不是全局最低点，沿着这条路继续下降也无法到达全局最低点，这就是局部最优解和全局最优解的问题。
