想问下机器学习PAI,在PAI上用cmd=train,也会export,不用单独的再export,这是因为哪个设置 在哪运行了export啊?export_config 只有一个multi_placeholder,PAI上会 export,本地不会export。于是想问下,这是哪里运行了export啊
在阿里云的机器学习PAI(Platform for AI Innovation)上,当你使用cmd=train
时,模型会自动执行export
操作。这是因为在训练过程中,模型需要将学习到的参数保存到文件中,以便在后续的操作中使用。这个保存操作就相当于export
操作。
如果你在本地运行模型,但是没有看到export
操作,可能是因为你的环境配置不同,或者你的代码实现不同。你需要检查你的代码,看看是否有export
操作的实现。
至于export_config
,它是一个配置文件,用于指定export
操作的具体参数。如果你的模型在执行export
操作时没有使用到这个配置文件,那么可能是因为你的模型不需要这个配置文件,或者你的代码没有正确地使用这个配置文件。
pai上有配置evaluator就会导出,本地如果有master的话,默认也会导出,chief默认不导出,流程上是先评估在导出,不评估就不导出,此回答整理自钉群“【EasyRec】推荐算法交流群”
在 PAI 上,您不必手动调用 export
命令来导出模型。这是因为 PAI-DSW
工具会自动为训练任务执行模型导出操作。在您执行 cmd=train
命令之后,训练作业将会启动并开始运行。一旦训练完成后,PAI-DSW 会自动将模型导出为 .tar.gz
格式的压缩包,并将其上传至 HDFS 中。
当您在本地环境中训练模型时,必须手动调用 export
命令来导出模型。这是因为本地环境中没有类似 PAI-DSW
的工具来自动导出模型。
您可以在 pai.conf
配置文件中设置 export_config
参数来控制模型导出的行为。export_config
参数接受一个 JSON 字典,其中包含导出作业的设置。例如,可以设置 output_path
参数指定导出文件的目标位置,以及 job_parameters
参数指定额外的作业参数。
以下是 export_config
参数的示例配置:
export_config:
output_path: '/path/to/output/directory'
job_parameters:
- key: my_param_key
value: my_param_value
您可以在 pai.conf
配置文件中找到更多相关信息。如果您遇到问题,可以在 PAI-DSW
文档中找到更多有关配置的详细信息。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。