问题一:机器学习PAI数据在maxcompute上,如何用阿里云上租的机器训练?这有什么不用下载数据的办法吗? 问题二:没有开通PAI,就只能下载了?
问题1:
在阿里云上训练机器学习模型,可以使用MaxCompute进行数据存储和计算,以下是使用MaxCompute训练模型的步骤:
将数据上传到MaxCompute中存储。
在阿里云上创建一台云服务器(可以是ECS或GPU实例),并安装相应的机器学习框架和工具,例如TensorFlow、PyTorch等。
连接到MaxCompute数据源,并使用机器学习框架中的API从MaxCompute中加载数据。
训练模型并保存模型参数。
可以使用为您的模型创建的推理服务,将已经保存好的模型参数部署到云上进行预测。
另外,如果您不想下载数据,可以直接使用DataWorks来处理MaxCompute上的数据。您可以在DataWorks中创建机器学习任务进行训练模型,然后将模型参数导出并部署到云上进行预测。
问题2:
如果您没有开通PAI服务,则无法使用PAI提供的云上计算资源进行训练。但是,您可以使用阿里云提供的其他服务来训练机器学习模型,例如MaxCompute、ECS或GPU实例等。
如果你的机器学习 PAI 数据过大,不能全部读取到阿里云的机器中,可以使用分布式计算框架,例如 MapReduce 或 Spark 等,将数据并行地从 MaxCompute 中读取到多台机器中进行训练。
针对问题一的回答:要么 1.在MC上用paicmd训练 https://easyrec.readthedocs.io/en/latest/quick_start/mc_tutorial.html
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。