开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI 为什么还是1000个step才记录一次summaries?

机器学习PAI save_summary_steps这个配置项我设置了值为50,为什么还是1000个step才记录一次summaries?

展开
收起
真的很搞笑 2023-12-10 15:40:27 66 0
3 条回答
写回答
取消 提交回答
  • save_summary_steps这个参数是用来控制训练过程中保存摘要的频率的。默认情况下,每1000个步骤会保存一次摘要。如果你将其设置为50,那么理论上应该每50个步骤就会保存一次摘要。

    然而,这并不意味着每次保存摘要时都会进行一次评估。评估是在每个评估周期(eval_steps)进行的,而不是在每个保存摘要的步骤。所以,如果你的eval_steps设置为1000,那么每1000个步骤才会进行一次评估。

    至于你提到的eval_resultsglobal_step达到1000后就不再为空,这可能是因为在训练开始时,模型还没有开始进行评估,所以eval_results为空。当global_step达到1000时,模型已经进行了第一次评估,所以eval_results就不再为空了。

    如果你希望更频繁地进行评估,可以考虑减小eval_steps的值。但是请注意,频繁的评估可能会增加训练的时间,因为每次评估都需要对整个数据进行前向传播。

    2023-12-13 09:01:20
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据你提供的信息,save_summary_steps配置项设置为50,但仍然每1000个step记录一次summaries。这可能是因为save_summary_steps的值被其他配置项覆盖或优先级更高的原因。

    在PAI中,save_summary_steps配置项用于指定每隔多少步保存一次模型的摘要信息。然而,还有其他配置项可能会影响保存摘要的频率。例如,eval_interval和save_checkpoint_steps等配置项可能具有更高的优先级。

    2023-12-11 13:49:54
    赞同 展开评论 打赏
  • eval 评估次数应该只是和 save_checkpoints_steps 有关,每一次保存 checkpoint 的时候,评估一次 ,此回答整理自钉群“【EasyRec】推荐算法交流群”

    2023-12-11 13:06:07
    赞同 展开评论 打赏

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    阿里巴巴机器学习平台AI 立即下载
    微博机器学习平台架构和实践 立即下载