开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

请教个机器学习PAI问题~不同目标的auc计算时,num_thresholds都是固定的同一个是吧?

请教个机器学习PAI问题~不同目标的auc计算时,num_thresholds都是固定的同一个是吧?
如果是的话,这里会不会拆开比较好呢?

展开
收起
cuicuicuic 2024-01-28 18:53:29 34 0
2 条回答
写回答
取消 提交回答
  • 每个目标里面可以分开设置,如果predict score差异小,阈值分桶就应该更多。多目标模型里面,每个metric 都可以配置num_thresholds,auc 方式的时候 ,此回答整理自钉群“【EasyRec】推荐算法交流群”

    2024-01-28 22:25:13
    赞同 1 展开评论 打赏
  • 在阿里云机器学习PAI中,不同目标的AUC(Area Under the Curve)计算时,num_thresholds参数并不一定是固定的同一个数值。num_thresholds 参数用于指定计算AUC时划分正负样本的阈值数量,不同的任务和模型可能会有不同的最优阈值数。

    例如,在多标签分类或多任务学习场景下,各个任务的目标函数和评价指标可能不尽相同,因此针对每个目标计算AUC时,可以根据实际情况设置不同的num_thresholds

    至于是否需要拆开,主要取决于以下因素:

    1. 任务复杂性:若各任务之间差异较大,或者每个任务的最佳阈值分布范围相差很大,可能需要独立设置num_thresholds以获得更精确的AUC估计。

    2. 计算资源:增加num_thresholds会增大计算量,如果计算资源有限,可能需要权衡每个任务的精度和整体计算时间。

    3. 评估准确性:更多的阈值划分可以使AUC曲线更加平滑,从而更精确地反映模型性能,但如果任务间差异不大,或者任务比较简单,过多的阈值划分可能并无太大意义。

    总之,在实际应用中,应当根据具体任务需求和计算资源情况灵活设置num_thresholds,不必拘泥于固定的一个数值。在PAI平台上,你可以为每个目标或任务单独配置相应的评估参数。

    2024-01-28 21:40:43
    赞同 1 展开评论 打赏

热门讨论

热门文章

相关电子书

更多
大规模机器学习在蚂蚁+阿里的应用 立即下载
阿里巴巴机器学习平台AI 立即下载
微博机器学习平台架构和实践 立即下载