对于一般损失函数而言,为什么可以利用损失函数的负梯度在当前模型的值作为梯度提升算法中残差的近似值呢?
我们发现,在提升树算法中,残差是一个负的梯度,因而可以扩展到其它非二次错误(类别或排序问题)的损失函数。即,该方法是一种基于梯度的递减算法,它可以通过改变损失函数和计算它的负值来扩展。也就是说,该结论可以被推广成用损耗函数的负梯度来逼近一般损失函数。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。