开发者社区> 问答> 正文

在逻辑回归中,如何直接根据对数损失函数的形式得到目标函数?

已解决

在逻辑回归中,如何直接根据对数损失函数的形式得到目标函数?

展开
收起
gxx1 2022-04-01 17:43:15 628 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    1.首先判断逻辑回归P(Y=y|x)表达式,是否符合伯努利分布。

           hθ(x)=g(f(x))=1/(1+exp(−f(x))) ,y=1
    

    P(X=y|x)=⎨ 1−hθ(x)=1−g(f(x))=exp(−f(x))1+exp(−f(x)),y=0

    2.我们知道对数损失函数的标准形式为:

    L(Y,P(Y|X))=−log(Y|X)

    L(Y,P(Y|X))=−log⁡(Y|X)

    3.完成之后,将逻辑回归的表达式带入对数损失函数中,可以得到:

    L(y,P(Y=y|X))={log(hθ(x))log(1−hθ(x)),y=1,y=0

    L(y,P(Y=y|X))={log⁡(hθ(x)),y=1log⁡(1−hθ(x)),y=0

    4.将上式进行化简,可以得到最终的目标函数:

    J(θ)=−1m∑i=1m[yilog(hθ(xi))+(1−yi)log(1−hθ(xi))]

    我们是将逻辑回归的形式将其带入对数损失函数中,就可以得到目标函数了。

    2022-04-01 17:47:34
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
纯干货|机器学习中梯度下降法的分类及对比分析 立即下载
纯干货 | 机器学习中梯度下降法的分类及对比分析 立即下载
高维向量检索技术在PG中的设计与实践 立即下载