机器学习PAI如果我想训练评估后直接导出,应该改哪个配置呢?如何让chief导出呢?我该改哪里啊?
在阿里云的机器学习PAI(Platform for AI Innovation)中,如果你想在训练评估后立即导出模型,你可以使用--eval_and_export
选项。这个选项会在每次训练迭代结束后立即执行export
操作,将当前的模型参数保存到文件中。
如果你想让chief节点导出模型,你需要确保你的任务配置中包含了chief节点。然后在export_config
字段中指定导出模型的路径和名称。
以下是一个示例的任务配置:
{
"name": "my_model",
"task_type": "train",
"data_config": "path/to/your/data/config",
"model_config": "path/to/your/model/config",
"run_config": "path/to/your/run/config",
"export_config": {
"output_path": "/path/to/your/output/directory",
"output_filename": "my_model"
},
"resource_config": "path/to/your/resource/config",
"job_config": "path/to/your/job/config",
"eval_and_export": true
}
在这个配置中,eval_and_export
选项被设置为true
,表示每次训练迭代结束后都会执行export
操作。export_config
字段指定了导出模型的路径和名称。
代码里面 在_train_and_evaluate完了之后,调一下estimator.export即可,此回答整理自钉群“【EasyRec】推荐算法交流群”
在 PAI-DSW 中,可以通过 export_config
参数来配置模型导出。 export_config
参数接受一个 JSON 字典,其中包含导出作业的设置。其中,可以设置 output_path
参数指定导出文件的目标位置,以及 job_parameters
参数指定额外的作业参数。
在 PAI-DSW 中,可以通过 export_after_train
参数来设置模型导出的时间点。默认情况下,模型将在作业完成后立即导出。如果您希望在作业完成后再导出模型,可以设置 export_after_train=False
。
此外,PAI-DSW 支持 local_chief_export_only
参数,该参数仅在本地集群上导出模型。默认情况下,PAI-DSW 会在每个节点上导出模型。如果您只想在一个节点上导出模型,可以设置 local_chief_export_only=True
。
以下是示例配置:
export_config:
output_path: '/path/to/output/directory'
job_parameters:
- key: my_param_key
value: my_param_value
export_after_train: False
local_chief_export_only: True
在 export_after_train=False
和 local_chief_export_only=True
设置下,模型将在作业完成后导出,并且仅在主节点上进行导出。您可以将上述配置放在 pai.conf
文件中,然后在创建训练作业时指定该文件。
请注意,该配置仅适用于 PAI-DSW 环境。如果要在本地环境中进行训练,需要使用 pai-learn
命令来运行训练作业,并指定 --export-after-train
和 --local-chief-export-only
参数。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。