机器学习PAI save_summary_steps这个配置项我设置了值为50,为什么还是1000个step才记录一次summaries?
save_summary_steps
这个参数是用来控制训练过程中保存摘要的频率的。默认情况下,每1000个步骤会保存一次摘要。如果你将其设置为50,那么理论上应该每50个步骤就会保存一次摘要。
然而,这并不意味着每次保存摘要时都会进行一次评估。评估是在每个评估周期(eval_steps)进行的,而不是在每个保存摘要的步骤。所以,如果你的eval_steps
设置为1000,那么每1000个步骤才会进行一次评估。
至于你提到的eval_results
在global_step
达到1000后就不再为空,这可能是因为在训练开始时,模型还没有开始进行评估,所以eval_results
为空。当global_step
达到1000时,模型已经进行了第一次评估,所以eval_results
就不再为空了。
如果你希望更频繁地进行评估,可以考虑减小eval_steps
的值。但是请注意,频繁的评估可能会增加训练的时间,因为每次评估都需要对整个数据进行前向传播。
根据你提供的信息,save_summary_steps配置项设置为50,但仍然每1000个step记录一次summaries。这可能是因为save_summary_steps的值被其他配置项覆盖或优先级更高的原因。
在PAI中,save_summary_steps配置项用于指定每隔多少步保存一次模型的摘要信息。然而,还有其他配置项可能会影响保存摘要的频率。例如,eval_interval和save_checkpoint_steps等配置项可能具有更高的优先级。
eval 评估次数应该只是和 save_checkpoints_steps 有关,每一次保存 checkpoint 的时候,评估一次 ,此回答整理自钉群“【EasyRec】推荐算法交流群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。