开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI指标差别比较大,有结论吗?

机器学习PAI ODPS的PAI使用训练好的DSSM模型使用同样的ckpt进行evaluate,单个worker多次evaluate的结果都不一致并且recall_at_k指标差别比较大,有结论吗?

展开
收起
真的很搞笑 2023-11-19 15:08:18 58 0
2 条回答
写回答
取消 提交回答
  • 对于AI ODPS的PAI使用训练好的DSSM模型使用同样的ckpt进行evaluate,单个worker多次evaluate的结果都不一致并且recall_at_k指标差别比较大的情况,这可能是由于以下几个原因导致的:

    1. 随机性:一些深度学习模型的训练过程可能会受到随机性的影响,比如随机初始化、随机梯度下降等。这可能会导致不同的训练结果。

    2. 评估方法:Recall@K是一种常用的推荐系统评估指标,它计算的是在所有正样本中,排在K个候选物中的正样本的比例。这个比例会受到排序算法的影响,如果排序算法不稳定,可能会导致Recall@K的结果不稳定。

    3. 数据分布:如果你的数据集存在一定的噪声或者分布不均匀,也可能会导致评估结果的不稳定。

    4. 模型复杂度:一些复杂的模型,比如深度神经网络,可能会出现过拟合的情况,这也可能会导致评估结果的不稳定。

    建议你可以在训练和评估的过程中,增加一些稳定性控制的策略,比如使用相同的随机种子、使用更稳定的排序算法、对数据进行预处理等。同时,也可以考虑使用一些其他的评估指标,比如准确率、F1分数等,来更全面地评估模型的性能。

    2023-11-29 16:07:21
    赞同 展开评论 打赏
  • 根据已知信息,单个worker多次评估的结果不一致且recall_at_k指标差异较大可能是由于模型评估过程中存在一些随机性导致的。建议进一步分析模型评估的具体流程和参数设置,以找出导致结果差异的原因,并进行调整或改进。可以尝试指定不同的model_dir路径和checkpoint路径来观察结果是否稳定一致,同时检查训练和评估的参数配置是否一致,比如worker节点数量和资源配置,以及其他依赖表的配置。如果以上方法仍无法解决问题,可能需要进一步检查模型训练的稳定性和模型本身的问题。,此回答整理自钉群“【EasyRec】推荐算法交流群”

    2023-11-19 23:23:22
    赞同 展开评论 打赏

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    微博机器学习平台架构和实践 立即下载
    机器学习及人机交互实战 立即下载
    大数据与机器学习支撑的个性化大屏 立即下载