开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI中现在测试ps经常爆内存,测试发现150w特征,ps用了500g那么大,这个怎么解决?

机器学习PAI中现在测试ps经常爆内存,测试发现150w特征,ps用了500g那么大,想请问一下各位这个怎么解决?不然大模型根本跑不起来

展开
收起
冰激凌甜筒 2023-04-25 17:01:34 225 0
1 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    如果您在使用阿里云机器学习PAI中的PS时遇到了内存占用过高的问题,可以尝试以下几种方法:

    1、调整PS的内存限制:您可以在PAI控制台中对PS的资源配置进行调整,增加其内存限制,以便更好地适应您的应用需求。

    2、减少特征维度:如果您的特征维度过高,可以尝试使用特征选择或者降维等方法来减少特征维度,从而降低PS的内存占用。

    3、增加PS的数量:如果您的数据量较大,可以考虑增加PS的数量,以便更好地分担数据处理的负载,从而降低单个PS的内存占用。

    4、使用其他分布式计算框架:如果以上方法均无法解决问题,您可以考虑使用其他分布式计算框架,例如Apache Spark等,以便更好地适应您的应用需求。

    2023-04-25 22:02:28
    赞同 展开评论 打赏

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    基于Spark的面向十亿级别特征的 大规模机器学习 立即下载
    基于Spark的大规模机器学习在微博的应用 立即下载