开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI如果我想训练评估后直接导出,应该改哪个配置呢?如何让chief导出呢?我该改哪里啊?

机器学习PAI如果我想训练评估后直接导出,应该改哪个配置呢?如何让chief导出呢?我该改哪里啊?

展开
收起
真的很搞笑 2023-10-29 20:11:33 54 0
3 条回答
写回答
取消 提交回答
  • 在阿里云的机器学习PAI(Platform for AI Innovation)中,如果你想在训练评估后立即导出模型,你可以使用--eval_and_export选项。这个选项会在每次训练迭代结束后立即执行export操作,将当前的模型参数保存到文件中。

    如果你想让chief节点导出模型,你需要确保你的任务配置中包含了chief节点。然后在export_config字段中指定导出模型的路径和名称。

    以下是一个示例的任务配置:

    {
      "name": "my_model",
      "task_type": "train",
      "data_config": "path/to/your/data/config",
      "model_config": "path/to/your/model/config",
      "run_config": "path/to/your/run/config",
      "export_config": {
        "output_path": "/path/to/your/output/directory",
        "output_filename": "my_model"
      },
      "resource_config": "path/to/your/resource/config",
      "job_config": "path/to/your/job/config",
      "eval_and_export": true
    }
    

    在这个配置中,eval_and_export选项被设置为true,表示每次训练迭代结束后都会执行export操作。export_config字段指定了导出模型的路径和名称。

    2023-10-30 11:38:57
    赞同 展开评论 打赏
  • 代码里面 在_train_and_evaluate完了之后,调一下estimator.export即可,此回答整理自钉群“【EasyRec】推荐算法交流群”

    2023-10-30 08:04:12
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 PAI-DSW 中,可以通过 export_config 参数来配置模型导出。 export_config 参数接受一个 JSON 字典,其中包含导出作业的设置。其中,可以设置 output_path 参数指定导出文件的目标位置,以及 job_parameters 参数指定额外的作业参数。
    在 PAI-DSW 中,可以通过 export_after_train 参数来设置模型导出的时间点。默认情况下,模型将在作业完成后立即导出。如果您希望在作业完成后再导出模型,可以设置 export_after_train=False
    此外,PAI-DSW 支持 local_chief_export_only 参数,该参数仅在本地集群上导出模型。默认情况下,PAI-DSW 会在每个节点上导出模型。如果您只想在一个节点上导出模型,可以设置 local_chief_export_only=True
    以下是示例配置:

    export_config:
      output_path: '/path/to/output/directory'
      job_parameters:
        - key: my_param_key
          value: my_param_value
      export_after_train: False
      local_chief_export_only: True
    

    export_after_train=Falselocal_chief_export_only=True 设置下,模型将在作业完成后导出,并且仅在主节点上进行导出。您可以将上述配置放在 pai.conf 文件中,然后在创建训练作业时指定该文件。
    请注意,该配置仅适用于 PAI-DSW 环境。如果要在本地环境中进行训练,需要使用 pai-learn 命令来运行训练作业,并指定 --export-after-train--local-chief-export-only 参数。

    2023-10-29 22:50:08
    赞同 展开评论 打赏

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    基于Spark的面向十亿级别特征的 大规模机器学习 立即下载
    基于Spark的大规模机器学习在微博的应用 立即下载