机器学习PAI中现在测试ps经常爆内存，测试发现150w特征，ps用了500g那么大，这个怎么解决？
机器学习PAI中现在测试ps经常爆内存，测试发现150w特征，ps用了500g那么大，想请问一下各位这个怎么解决？不然大模型根本跑不起来
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
公众号：网络技术联盟站，InfoQ签约作者，阿里云社区签约作者，华为云 云享专家，BOSS直聘 创作王者，腾讯课堂创作领航员，博客+论坛：https://www.wljslmz.cn，工程师导航：https://www.wljslmz.com
如果您在使用阿里云机器学习PAI中的PS时遇到了内存占用过高的问题，可以尝试以下几种方法：
1、调整PS的内存限制：您可以在PAI控制台中对PS的资源配置进行调整，增加其内存限制，以便更好地适应您的应用需求。
2、减少特征维度：如果您的特征维度过高，可以尝试使用特征选择或者降维等方法来减少特征维度，从而降低PS的内存占用。
3、增加PS的数量：如果您的数据量较大，可以考虑增加PS的数量，以便更好地分担数据处理的负载，从而降低单个PS的内存占用。
4、使用其他分布式计算框架：如果以上方法均无法解决问题，您可以考虑使用其他分布式计算框架，例如Apache Spark等，以便更好地适应您的应用需求。
2023-04-25 22:02:28赞同 展开评论
问答分类：
相关问答
人工智能平台 PAI（Platform for AI，原机器学习平台PAI）是面向开发者和企业的机器学习/深度学习工程平台，提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务，内置140+种优化算法，具备丰富的行业场景插件，为用户提供低门槛、高性能的云原生AI工程化能力。
相关文章
热门讨论
热门文章
展开全部
还有其他疑问?
咨询AI助理