机器学习PAI在DataWorks里面用pai执行easyrec,怎么指定tensorflow版本呢?
可以通过在"执行计算环境"中选择自定义环境,然后指定对应的tensorflow版本来实现。
具体步骤:
首先,在DataWorks中进入我们的EasyRec任务,打开我们需要指定TensorFlow版本的action节点。
点击"执行计算环境",选择"自定义环境"。
在弹出的"自定义执行环境"界面中,选择"运行方式",这里我们选择"PAI集群版本环境"。
点击"高级设置",在"镜像版本/自定义"中填写自己想要的TensorFlow版本。
根据自己的需求,填写"CPU核数"、"内存"、"磁盘容量"等信息。
配置完成后,点击"确定"。
接下来就可以运行任务,以指定版本的TensorFlow对EasyRec任务进行训练或测试了。
您好,对于在DataWorks中使用PAI执行easyrec时指定tensorflow版本,可以通过修改训练算法脚本中的依赖项或者在脚本中指定所需的tensorflow版本来实现。具体步骤如下:
打开DataWorks中的PAI Studio,进入easyrec工程的训练算法脚本。
在脚本中找到依赖项部分,可以看到已安装的tensorflow版本,例如:
!pip install tensorflow==1.15 修改所需的tensorflow版本号,例如,如果需要使用tensorflow 2.0版本,可修改为: !pip install tensorflow==2.0 保存修改后的脚本。
点击提交任务,DataWorks会自动执行所编写的训练算法脚本,并按照指定的tensorflow版本进行训练。
另外,如果您在使用PAI执行easyrec时遇到任何问题,可以查看DataWorks中PAI Studio的日志信息,以排查和解决问题。
如果不是shell节点,可以用-name tensorflow版本号 指定版本,如果是spark节点,可以在submit的低手用--conf spark.excutorEnv.EASYREC_TF_VERSION=tensorfflow版本号来执行
--script "PAI_USER_SCRIPT=your_script.sh"
--conf "PAI_CONTAINER_DOCKER_IMAGE=registry.cn-hangzhou.aliyuncs.com/pai-ai-algorithm/tensorflow-1.15.2-gpu:git907b45d-cudnn7-dev-ubuntu16.04"
其中,registry.cn-hangzhou.aliyuncs.com/pai-ai-algorithm/tensorflow-1.15.2-gpu:git907b45d-cudnn7-dev-ubuntu16.04
是 TensorFlow 1.15.2 GPU 版本的Docker镜像地址。您可以在PAI官网上查看可用的TensorFlow版本和对应的Docker镜像。同时,也可以将其替换成您需要使用的版本。your_script.sh
是您的PAI脚本。
例如,您可以创建一个名为easyrec_pai_script.sh
的文件,其内容包含easyrec的执行命令,并且在DataWorks中PAI的执行命令中指定所需的TensorFlow版本,示例如下:
pai -name tensorflow -Dscript="PAI_USER_SCRIPT=easyrec_pai_script.sh" -Drun:gpuRequired=true -Dtensorflow_version=1.15.2-gpu --project algo_platform --cpu 2 --gpu 1 --memory 16G --workspace hdfs://your_hdfs_path
--conf "PAI_CONTAINER_DOCKER_IMAGE=registry.cn-hangzhou.aliyuncs.com/pai-ai-algorithm/tensorflow-1.15.2-gpu:git907b45d-cudnn7-dev-ubuntu16.04"
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。