save_summary_steps`这个参数是用来控制训练过程中保存摘要的频率的

简介: save_summary_steps`这个参数是用来控制训练过程中保存摘要的频率的

save_summary_steps这个参数是用来控制训练过程中保存摘要的频率的。默认情况下,每1000个步骤会保存一次摘要。如果你将其设置为50,那么理论上应该每50个步骤就会保存一次摘要。

然而,这并不意味着每次保存摘要时都会进行一次评估。评估是在每个评估周期(eval_steps)进行的,而不是在每个保存摘要的步骤。所以,如果你的eval_steps设置为1000,那么每1000个步骤才会进行一次评估。

至于你提到的eval_resultsglobal_step达到1000后就不再为空,这可能是因为在训练开始时,模型还没有开始进行评估,所以eval_results为空。当global_step达到1000时,模型已经进行了第一次评估,所以eval_results就不再为空了。

如果你希望更频繁地进行评估,可以考虑减小eval_steps的值。但是请注意,频繁的评估可能会增加训练的时间,因为每次评估都需要对整个数据进行前向传播。

目录
相关文章
|
7月前
|
自然语言处理
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
195 1
|
7月前
|
机器学习/深度学习 存储 JSON
ModelScope问题之加载训到一半保存的checkpoint接着训练如何解决
ModelScope训练是指在ModelScope平台上对机器学习模型进行训练的活动;本合集将介绍ModelScope训练流程、模型优化技巧和训练过程中的常见问题解决方法。
150 0
|
2月前
|
存储 并行计算 PyTorch
探索PyTorch:模型的定义和保存方法
探索PyTorch:模型的定义和保存方法
|
3月前
|
自然语言处理 数据可视化 API
优化采样参数提升大语言模型响应质量:深入分析温度、top_p、top_k和min_p的随机解码策略
本文详细解析了大语言模型(LLM)的采样策略及其关键参数,如温度和top_p。LLM基于输入提示生成下一个标记的概率分布,通过采样策略选择标记并附回输入,形成循环。文章介绍了对数概率(logprobs)、贪婪解码、温度参数调整、top-k与top-p采样等概念,并探讨了min-p采样这一新方法。通过调整这些参数,可以优化LLM输出的质量和创造性。最后,文章提供了实验性尝试的建议,帮助读者在特定任务中找到最佳参数配置。本文使用VLLM作为推理引擎,展示了Phi-3.5-mini-instruct模型的应用实例。
135 6
|
7月前
`save_summary_steps`这个参数是用来控制训练过程中保存摘要的频率的
`save_summary_steps`这个参数是用来控制训练过程中保存摘要的频率的
77 2
|
6月前
|
机器学习/深度学习 人工智能 NoSQL
人工智能平台PAI产品使用合集之save_summary_steps这个配置项我设置了值为50,为什么还是1000个step才记录一次summaries
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
yolov8在进行目标追踪时,model.track()中persist参数的含义
yolov8在进行目标追踪时,model.track()中persist参数的含义
|
7月前
|
机器学习/深度学习 PyTorch 算法框架/工具
通过实例学习Pytorch加载权重.load_state_dict()与保存权重.save()
通过实例学习Pytorch加载权重.load_state_dict()与保存权重.save()
98 0
|
机器学习/深度学习 并行计算 图计算
超参数设定及训练技巧
超参数设定及训练技巧
367 0
ALLEN BRADLEY 842E-CM-MIP3BA 保留原始流中存在的所有信息
ALLEN BRADLEY 842E-CM-MIP3BA 保留原始流中存在的所有信息
ALLEN BRADLEY 842E-CM-MIP3BA  保留原始流中存在的所有信息