开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

想问下机器学习PAI,在PAI上用cmd=train,这是因为哪个设置 在哪运行了export啊?

想问下机器学习PAI,在PAI上用cmd=train,也会export,不用单独的再export,这是因为哪个设置 在哪运行了export啊?export_config 只有一个multi_placeholder,PAI上会 export,本地不会export。于是想问下,这是哪里运行了export啊

展开
收起
真的很搞笑 2023-10-29 20:11:34 52 0
3 条回答
写回答
取消 提交回答
  • 在阿里云的机器学习PAI(Platform for AI Innovation)上,当你使用cmd=train时,模型会自动执行export操作。这是因为在训练过程中,模型需要将学习到的参数保存到文件中,以便在后续的操作中使用。这个保存操作就相当于export操作。

    如果你在本地运行模型,但是没有看到export操作,可能是因为你的环境配置不同,或者你的代码实现不同。你需要检查你的代码,看看是否有export操作的实现。

    至于export_config,它是一个配置文件,用于指定export操作的具体参数。如果你的模型在执行export操作时没有使用到这个配置文件,那么可能是因为你的模型不需要这个配置文件,或者你的代码没有正确地使用这个配置文件。

    2023-10-30 11:38:58
    赞同 展开评论 打赏
  • pai上有配置evaluator就会导出,本地如果有master的话,默认也会导出,chief默认不导出,流程上是先评估在导出,不评估就不导出,此回答整理自钉群“【EasyRec】推荐算法交流群”

    2023-10-30 08:04:08
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 PAI 上,您不必手动调用 export 命令来导出模型。这是因为 PAI-DSW 工具会自动为训练任务执行模型导出操作。在您执行 cmd=train 命令之后,训练作业将会启动并开始运行。一旦训练完成后,PAI-DSW 会自动将模型导出为 .tar.gz 格式的压缩包,并将其上传至 HDFS 中。
    当您在本地环境中训练模型时,必须手动调用 export 命令来导出模型。这是因为本地环境中没有类似 PAI-DSW 的工具来自动导出模型。
    您可以在 pai.conf 配置文件中设置 export_config 参数来控制模型导出的行为。export_config 参数接受一个 JSON 字典,其中包含导出作业的设置。例如,可以设置 output_path 参数指定导出文件的目标位置,以及 job_parameters 参数指定额外的作业参数。
    以下是 export_config 参数的示例配置:

    export_config:
      output_path: '/path/to/output/directory'
      job_parameters:
        - key: my_param_key
          value: my_param_value
    

    您可以在 pai.conf 配置文件中找到更多相关信息。如果您遇到问题,可以在 PAI-DSW 文档中找到更多有关配置的详细信息。

    2023-10-29 22:50:11
    赞同 展开评论 打赏

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    基于Spark的面向十亿级别特征的 大规模机器学习 立即下载
    基于Spark的大规模机器学习在微博的应用 立即下载