开发者社区> 问答> 正文

评价模型精度的方法有哪些呀?

评价模型精度的方法有哪些呀?

展开
收起
游客yfxmyhrvpi6cs 2022-04-02 02:12:53 1255 0
1 条回答
写回答
取消 提交回答
  • 1、AUC和ROC:两者通常结合在一起使用,ROC(receiver operating characteristic),接收者操作特征曲线,横坐标是FPR,预测为正但实际为负的样本占所有负样本的比例。纵坐标是TPR,预测为正且实际为正的样本占所有正样本的比例。ROC曲线越靠近纵轴越好,但ROC曲线没不是一个指标所以在实际应用中并不多。AUC(Area Under Curve)是一个(0,1)的概率值,表示ROC曲线下的面积,通常情况下大于0.5,值越大越好,1的时候最完美,通常0.75以上表示模型拟合较好。

    2、提升图:将预测概率值降序排列,并等分为10/20等份,计算每等份中正样本率与整体正样本率(固定值)的比值,好的模型该比值是单调递减的,前3个等分的比值大于1,且越大越好。

    3、洛伦茨曲线

    4、KS曲线和KS值:拿信贷模型举例,假如信用评分是0,1,2,3,4,5,且符合正太分布,我们的目标是贷款给更多的好用户,拒绝更多的坏用户,实现二者最优。贷款给更多的人则要把他们都判定为好样本,理想情况下都判定为好样本,但这个时候会对坏样本误判。如果要拒绝更多的坏用户,理想情况下都判定为坏样本。其中好样本对应于召回率(TPR):预测为正且实际为正的样本数/所有正样本数 。坏样本对应于误诊率(FPR):预测为负但实际为正的样本数/所有负样本数。

    2022-04-02 02:14:23
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
纯干货|机器学习中梯度下降法的分类及对比分析 立即下载
纯干货 | 机器学习中梯度下降法的分类及对比分析 立即下载
安全值-量化安全风险 立即下载