开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI中DSSM向量召回模型拆分导出类型有三种(best、final和latest)?

机器学习PAI中DSSM向量召回模型拆分导出类型有三种(best、final和latest),这个latest是什么含义?

展开
收起
真的很搞笑 2024-01-11 14:28:25 146 0
6 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在机器学习PAI中,DSSM向量召回模型的导出类型包括best、final和latest三种。其中,"best"通常表示模型在验证集上表现最好的版本,"final"是指模型在验证集和测试集上表现最佳的版本,而"latest"则代表模型的最新版本。

    与"final"相比,"latest"并非具有特殊用法,而是简单地表示模型的最新版本。这就意味着,如果您想要获取到最新的DSSM向量召回模型,您可以选择"latest"类型的导出。然而,需要注意的是,在选择使用"latest"类型的模型时,应当考虑到该版本的性能是否稳定以及是否经过了充分的验证。

    总之,在机器学习PAI中,了解不同导出类型的含义是非常重要的,特别是当您需要根据具体需求选择合适的模型版本时。通过选择适当的导出类型,您可以更好地满足项目要求并确保模型的稳定性和性能。

    2024-01-12 21:33:37
    赞同 展开评论 打赏
  • 这是上游模型训练后的导出类型,latest
    表示是最终版本。
    exporter_type,取值如下:

    -best

    -final

    -latest
    image.png

    https://help.aliyun.com/zh/pai/user-guide/vector-recall-split-model?spm=a2c4g.11186623.0.i6

    2024-01-12 09:32:54
    赞同 展开评论 打赏
  • 在机器学习的PAI平台中,DSSM向量召回模型拆分导出的三种类型(best、final和latest)的含义如下:

    1.Best:这是指最佳模型,即在训练过程中表现最好的模型。
    2.Final:这是指最终模型,即在训练过程中最后确定的模型。
    3.Latest:这是指最新模型,即在训练过程中最新保存的模型。
    关于latest和final是否相同,一般来说,final和best模型都是在训练结束后根据一定的评估指标选择的,而latest模型则是在训练过程中最新保存的模型,可能并不是最优的模型,但包含最新的训练信息。

    具体来说,如果训练过程中有新的改进或者数据更新,latest模型可能是这些更改之后的最新模型。在一些情况下,latest模型可能被用作后续实验或分析的起点,因为它包含了最新的训练信息。

    因此,latest和final在某些情况下可能会有不同的用途。具体使用哪种类型要根据实际需求和情况而定。

    2024-01-11 19:01:23
    赞同 展开评论 打赏
  • 在阿里云机器学习PAI平台上,针对模型的保存与加载,不同的模型版本通常有几种类型的标记,如bestfinallatest

    1. best:通常是指在验证集上取得最佳性能的模型权重文件。在训练过程中,每当验证指标改善时,模型都会被保存为“best”模型。

    2. final:通常是指训练流程结束时最后保存的模型,不论其验证性能是否最优。这意味着无论训练是否提前停止或是达到预定的最大迭代次数,final模型都是训练流程最后一个时刻的状态。

    3. latest:这个词一般指的是最新保存的模型,它不一定是性能最好的,也不一定是训练过程的最终状态。但在实际应用中,latest可能指代的是最后一次更新或者保存时的模型版本,它反映了模型训练到目前为止的最新进展。

    在PAI环境中,latest模型可能意味着你在训练过程中周期性保存的最新模型权重,这对于需要监控模型训练过程、调试或者是增量训练等场景特别有用,因为它总是反映着训练流程最新的那次迭代结果。不过,具体到PAI中DSSM向量召回模型的latest版本的确切含义,还需要参考阿里云PAI官方文档或具体项目中的设定来理解。在某些情况下,latestfinal可能在特定上下文中具有相同的含义,特别是在没有额外保存步骤的情况下,final即为整个训练过程结束时的latest模型。但如果存在动态保存或者持续训练的场景,两者则有所区别。

    2024-01-11 16:43:31
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    在机器学习PAI中,DSSM向量召回模型拆分导出类型有三种:best、final和latest。其中,best和final的含义比较明确,分别表示最优模型和最终模型。而latest则表示最新的模型。
    一般来说,latest类型的导出是在训练过程中,每个迭代步骤都会导出一次模型,这样可以帮助用户了解模型在训练过程中的变化情况。而best和final类型的导出则是在训练结束后,根据一定的评估标准选择最优模型进行导出。
    所以,latest并不和final有相同的含义,它表示的是训练过程中最新的模型。在实际使用中,用户可以根据需要选择导出类型。

    2024-01-11 15:00:03
    赞同 展开评论 打赏
  • latest就是训练的时候带evaluator的话,每次评估完都会导出一个latest的ckpt的,一般默认keep最新的5个。但是很少用,导出训练时的checkpoint意义不大。 ,此回答整理自钉群“【EasyRec】推荐算法交流群”

    2024-01-11 14:38:28
    赞同 展开评论 打赏
滑动查看更多

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    基于Spark的面向十亿级别特征的 大规模机器学习 立即下载
    基于Spark的大规模机器学习在微博的应用 立即下载