开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI这里的model_path应该填哪个path呢?

机器学习PAIexport过程优先使用ckpt_path,ckpt_path没有就使用model_path,但是没有model_path会报错:90e561c00132f5637a3693b6ceb8a60e.png
那问题是,这里的model_path应该填哪个path呢?

展开
收起
真的很搞笑 2023-11-30 11:10:48 160 0
3 条回答
写回答
取消 提交回答
  • 在 tensorflow 的接口里面,model_dir 和 checkpoint_path 一般不等价,model_dir 里面除了 checkpoint path, 还会有计算图和其它元数据,所以一般不能用 checkpoint_path 来代替 model_dir 。

    这个地方的 Dconfig 应该使用你 model_dir 里面的那个 pipeline.config, 这个 pipeline.config 里面有 model_dir 这个信息,这样的话你可以直接按文档来:https://easyrec.readthedocs.io/en/latest/export.html

    如果你的 config 没有 model_dir 的信息,没有的话就需要手动指定一下参数 Dmodel_dir, 原因是虽然同时有 model_dir 和 checkpoint_path 的时候我们会用 checkpoint_path 来加载 checkpoint (见代码:https://github.com/alibaba/EasyRec/blob/master/easy_rec/python/main.py#L772), 但是在加载 checkpoint 之前会有一个建立 estimator 的操作 (见代码:https://github.com/alibaba/EasyRec/blob/master/easy_rec/python/main.py#L763),这个操作复用了 tensorflow 的 api, 里面会要求传入 config.model_dir, 然后如果为空的话 tensorflow 的这个接口会报错 (见代码:https://github.com/alibaba/EasyRec/blob/master/easy_rec/python/main.py#L137)。

    所以最后总结,最好直接用 model_dir 里面的 pipeline_config, 可以直接按文档来:https://easyrec.readthedocs.io/en/latest/export.html ,如果你的 config 里面没有的话最好在 config 里面写上 model_dir 或者指定 Dmodel_dir 。然后在 tensorflow 里面认为 model_dir 和 checkpoint_path 不等价,整个导出的过程不只是有加载 checkpoint 这一个操作,还会有别的操作需要用到 model_dir 。,此回答整理自钉群“【EasyRec】推荐算法交流群”

    2023-11-30 20:55:30
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    在使用机器学习PAIexport过程中,优先使用ckpt_path的方式来定位模型,如果ckpt_path没有指定,则会自动搜索model_path。如果model_path没有指定,那么可能会出现报错的情况。
    在这种情况下,需要确保model_path指向正确的模型文件路径。可以通过在命令行中指定模型文件路径的方式来解决这个问题。具体方法如下:

    pai export -model_path <model_path> --ckpt_path <ckpt_path>
    

    model_path是模型文件路径,ckpt_path是模型的ckpt路径。如果您不确定模型的ckpt路径,可以通过pai提供的功能来查看ckpt路径

    pai info --job <job_name> --field ckpt
    

    ---人工智能平台 PAITensorFlow服务请求构造文档

    2023-11-30 14:40:06
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在机器学习PAI中,export过程确实会优先使用ckpt_path参数指定的检查点路径。如果ckpt_path没有设置或者找不到对应的文件,它会尝试使用model_path参数指定的模型路径。

    如果您的代码报错,并且您确认没有设置model_path参数,那么可能的原因有:

    1. 模型未保存

      • 确保您的模型已经成功训练并保存到某个位置。
      • 检查您的代码以确保正确地调用了保存模型的函数。
    2. 路径错误

      • 如果模型已保存,但仍然遇到问题,请检查model_path参数值是否正确。
      • 确保路径是绝对路径,且包含文件名和扩展名(例如.ckpt.h5等)。
    3. 权限问题

      • 确保当前用户具有读取保存模型的文件或目录的权限。
    4. 依赖库版本问题

      • 确保使用的库版本与保存模型时使用的版本相同,否则可能会出现兼容性问题。
    5. 环境问题

      • 在不同的环境中运行代码可能会导致问题。确保所有必要的库和依赖项都已安装并且版本正确。
    6. 临时文件丢失

      • 有时,由于系统清理或其他原因,临时文件可能会被删除。在这种情况下,您需要重新训练和保存模型。

    要解决这个问题,请按照以下步骤进行:

    1. 检查模型保存情况

      • 确保您的模型已经成功训练并保存到了正确的路径。
    2. 验证路径信息

      • 检查model_path参数的值是否正确,包括路径、文件名和扩展名。
    3. 检查权限和依赖项

      • 确保有足够的权限访问保存模型的文件,并且所需的库和依赖项已经正确安装。
    4. 联系技术支持

      • 如果问题持续存在,建议联系阿里云的技术支持团队寻求帮助。
    2023-11-30 14:18:42
    赞同 展开评论 打赏

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    阿里巴巴机器学习平台AI 立即下载
    微博机器学习平台架构和实践 立即下载