机器学习PAI odps上跑是不是默认环境是跑的py2.7?配置文件如何指定跑py3.7的版本?PAI命令可以指定吗?
机器学习PAI在ODPS上运行时,默认使用的是Python 2.7版本。如果您希望使用Python 3.7版本进行运行,可以通过配置文件和PAI命令来指定。
配置文件指定:
在您的配置文件中,可以添加以下配置项来指定使用Python 3.7版本:
python_version: 3.7
将上述配置项添加到您的配置文件中,并保存文件。然后,在运行作业时,PAI将会使用指定的Python 3.7版本。
PAI命令指定:
您还可以通过PAI命令行工具来指定使用的Python版本。在运行作业时,可以使用以下命令行参数来指定Python版本:
PAI --python_version=3.7 <your_job_config>
将上述命令中的<your_job_config>
替换为您的作业配置文件路径或名称。通过这种方式,PAI将会使用指定的Python 3.7版本来运行作业。
现在好像都是py3了。你代码还是没改,应该没什么影响吧.在config文件里,指定你的特征分隔符,此回答整理自钉群“【EasyRec】推荐算法交流群”
在 MaxCompute PAI 上,默认的 Python 版本是 Python 2.7,但您可以使用自定义 Docker 镜像的方式指定运行 Python 3.x 的版本。以下是配置文件指定使用 Python 3.7 版本的步骤:
使用以下命令下载 Python 3.7 版本的 Docker 镜像:
docker pull python:3.7
创建一个 Dockerfile 文件,内容如下:
FROM python:3.7
RUN apt-get update && apt-get install -y \
build-essential \
python3-dev \
libpq-dev
COPY . /app
WORKDIR /app
RUN pip3 install --upgrade pip
RUN pip3 install -r requirements.txt
其中 requirements.txt
是包含项目依赖项的文件。
进入到包含项目的目录,使用以下命令构建自定义 Docker 镜像:
docker build -t custom_python .
在项目根目录下创建一个名为 .pai/config.yml
的文件,并将以下内容复制到其中:
clusterConfig:
dockerImage: custom_python
使用以下命令提交作业:
pai submit -c config.yml train.py
这里 train.py
是您的训练脚本。
注意,目前 PAI 命令无法直接指定 Python 版本,必须通过配置文件的方式来指定。另外,MaxCompute PAI 目前支持的最高版本为 Python 3.6,所以您只能指定 Python 3.6 或更低的版本。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。