开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI中现在测试ps经常爆内存,测试发现150w特征,ps用了500g那么大,这个怎么解决?

机器学习PAI中现在测试ps经常爆内存,测试发现150w特征,ps用了500g那么大,想请问一下各位这个怎么解决?不然大模型根本跑不起来

展开
收起
冰激凌甜筒 2023-04-25 17:01:34 190 0
1 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    如果您在使用阿里云机器学习PAI中的PS时遇到了内存占用过高的问题,可以尝试以下几种方法:

    1、调整PS的内存限制:您可以在PAI控制台中对PS的资源配置进行调整,增加其内存限制,以便更好地适应您的应用需求。

    2、减少特征维度:如果您的特征维度过高,可以尝试使用特征选择或者降维等方法来减少特征维度,从而降低PS的内存占用。

    3、增加PS的数量:如果您的数据量较大,可以考虑增加PS的数量,以便更好地分担数据处理的负载,从而降低单个PS的内存占用。

    4、使用其他分布式计算框架:如果以上方法均无法解决问题,您可以考虑使用其他分布式计算框架,例如Apache Spark等,以便更好地适应您的应用需求。

    2023-04-25 22:02:28
    赞同 展开评论 打赏

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    阿里巴巴机器学习平台AI 立即下载
    机器学习及人机交互实战 立即下载
    云服务器ECS内存增强型实例re6全新发布 立即下载