开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI easyrec模型训练组件demo中,还是继续训练完所有的epochs?

机器学习PAI easyrec模型训练组件demo中,num_steps=2500,num_epochs=10000。60万数量,batch_size=4096,num_works=6,那模型训练2500steps结束,还是继续训练完所有的epochs?a7eaa2c9dc5ea55c10aefd299ac92093.png

展开
收起
真的很搞笑 2023-07-16 19:01:37 112 0
2 条回答
写回答
取消 提交回答
  • 在机器学习 PAI 的 EasyRec 模型训练组件中,具体是选择继续训练完所有的 epochs 还是提前停止训练取决于你的需求和实际情况。

    通常,在训练模型时,我们会使用训练数据集进行多个 epochs 的迭代训练。每个 epoch 表示遍历一次整个训练数据集。通过多个 epochs 的迭代,模型可以逐渐学习到数据集中的模式和规律,并提高其性能和泛化能力。

    然而,有时候在训练过程中,我们可能会观察到模型的性能不再显著提升或者出现过拟合的情况。此时,为了节省时间和资源,并防止过拟合,可以考虑提前停止训练。

    在 EasyRec 模型训练组件中,你可以根据自己的需求来选择训练的 epochs 数量。如果你希望继续训练完所有的 epochs,可以设置一个足够大的 epochs 数量,确保模型有足够的迭代次数以收敛。

    另一方面,如果你观察到模型的性能没有明显改善或者开始出现过拟合的迹象,可以选择提前停止训练。在 EasyRec 中,你可以通过监测模型的性能指标(如损失函数或验证集上的准确率)来进行判断。当模型的性能不再提升或开始下降时,可以停止训练并保存最佳的模型参数。

    2023-07-31 17:35:52
    赞同 展开评论 打赏
  • 2500 step就会结束,哪个先到 哪个先生效,此回答整理自钉群“【EasyRec】推荐算法交流群”

    2023-07-16 19:20:13
    赞同 展开评论 打赏

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    基于Spark的面向十亿级别特征的 大规模机器学习 立即下载
    基于Spark的大规模机器学习在微博的应用 立即下载