开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

在DataWorks里面用pai执行easyrec,怎么指定tensorflow版本呢?

机器学习PAI在DataWorks里面用pai执行easyrec,怎么指定tensorflow版本呢?

展开
收起
冰激凌甜筒 2023-04-11 12:23:34 348 0
5 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    可以通过在"执行计算环境"中选择自定义环境,然后指定对应的tensorflow版本来实现。

    具体步骤:

    1. 首先,在DataWorks中进入我们的EasyRec任务,打开我们需要指定TensorFlow版本的action节点。

    2. 点击"执行计算环境",选择"自定义环境"。

    3. 在弹出的"自定义执行环境"界面中,选择"运行方式",这里我们选择"PAI集群版本环境"。

    4. 点击"高级设置",在"镜像版本/自定义"中填写自己想要的TensorFlow版本。

    5. 根据自己的需求,填写"CPU核数"、"内存"、"磁盘容量"等信息。

    6. 配置完成后,点击"确定"。

    7. 接下来就可以运行任务,以指定版本的TensorFlow对EasyRec任务进行训练或测试了。

    2023-04-26 23:59:18
    赞同 展开评论 打赏
  • 值得去的地方都没有捷径

    您好,对于在DataWorks中使用PAI执行easyrec时指定tensorflow版本,可以通过修改训练算法脚本中的依赖项或者在脚本中指定所需的tensorflow版本来实现。具体步骤如下:

    打开DataWorks中的PAI Studio,进入easyrec工程的训练算法脚本。

    在脚本中找到依赖项部分,可以看到已安装的tensorflow版本,例如:

    !pip install tensorflow==1.15 修改所需的tensorflow版本号,例如,如果需要使用tensorflow 2.0版本,可修改为: !pip install tensorflow==2.0 保存修改后的脚本。

    点击提交任务,DataWorks会自动执行所编写的训练算法脚本,并按照指定的tensorflow版本进行训练。

    另外,如果您在使用PAI执行easyrec时遇到任何问题,可以查看DataWorks中PAI Studio的日志信息,以排查和解决问题。

    2023-04-17 16:15:23
    赞同 展开评论 打赏
  • 如果不是shell节点,可以用-name tensorflow版本号 指定版本,如果是spark节点,可以在submit的低手用--conf spark.excutorEnv.EASYREC_TF_VERSION=tensorfflow版本号来执行

    2023-04-11 13:00:50
    赞同 展开评论 打赏
  • 坚持这件事孤独又漫长。
    • 可以在DataWorks中的PAI命令中添加如下参数来指定TensorFlow版本:
    --script "PAI_USER_SCRIPT=your_script.sh" 
    --conf "PAI_CONTAINER_DOCKER_IMAGE=registry.cn-hangzhou.aliyuncs.com/pai-ai-algorithm/tensorflow-1.15.2-gpu:git907b45d-cudnn7-dev-ubuntu16.04"
    
    • 其中,registry.cn-hangzhou.aliyuncs.com/pai-ai-algorithm/tensorflow-1.15.2-gpu:git907b45d-cudnn7-dev-ubuntu16.04 是 TensorFlow 1.15.2 GPU 版本的Docker镜像地址。您可以在PAI官网上查看可用的TensorFlow版本和对应的Docker镜像。同时,也可以将其替换成您需要使用的版本。your_script.sh是您的PAI脚本。

    • 例如,您可以创建一个名为easyrec_pai_script.sh的文件,其内容包含easyrec的执行命令,并且在DataWorks中PAI的执行命令中指定所需的TensorFlow版本,示例如下:

    pai -name tensorflow -Dscript="PAI_USER_SCRIPT=easyrec_pai_script.sh" -Drun:gpuRequired=true -Dtensorflow_version=1.15.2-gpu --project algo_platform --cpu 2 --gpu 1 --memory 16G --workspace hdfs://your_hdfs_path
    --conf "PAI_CONTAINER_DOCKER_IMAGE=registry.cn-hangzhou.aliyuncs.com/pai-ai-algorithm/tensorflow-1.15.2-gpu:git907b45d-cudnn7-dev-ubuntu16.04"
    
    2023-04-11 13:00:29
    赞同 展开评论 打赏
  • 不能指定,默认1.12,此回答整理自钉群“【EasyRec】推荐算法交流群”

    2023-04-11 12:56:22
    赞同 展开评论 打赏

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    阿里巴巴机器学习平台AI 立即下载
    微博机器学习平台架构和实践 立即下载