开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

在机器学习PAI中,训练样本是分批加载的是吗?

在机器学习PAI中,训练样本是分批加载的是吗?那负采样有两个表,一个是全局商品表,一个是曝光未点击,这两个表会直接加载进内存吗,这两个表还挺大的。

展开
收起
我睡觉不困 2024-08-26 10:11:26 38 0
1 条回答
写回答
取消 提交回答
  • 阿里云PAI在处理大规模数据时,通常会采用分批加载的方式来优化内存使用。对于您提到的负采样,全局商品表和曝光未点击表这样的大表,PAI可能不会一次性全部加载到内存中,而是使用高效的分片加载或流式处理技术来避免内存压力。这样可以有效地处理超出内存大小的数据集。如果需要处理大表,PAI会设计合适的计算和存储策略以确保训练的可行性。可参考文档

    2024-08-26 11:26:52
    赞同 1 展开评论 打赏

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    阿里巴巴机器学习平台AI 立即下载
    微博机器学习平台架构和实践 立即下载