备案控制台

开发者社区

开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI如果valid数据集量级太大严重影响评估效率和整体效率，这个有什么方法可以解呢？

机器学习PAI分布式训练的时候，需要valid数据集来早停。但是无论是分配master做评估还是separate模式，都是在单台机器上做推理，如果valid数据集量级太大严重影响评估效率和整体效率，这个有什么方法可以解呢？

展开

收起

cuicuicuic 2024-03-11 20:19:26 19 0

1 条回答

写回答

取消提交回答

xin在这

valid搞小一点，采样一下，不需要那么大，此回答整理自钉群“【EasyRec】推荐算法交流群”

2024-03-11 21:18:36

赞同展开评论打赏

问答分类：

机器学习/深度学习人工智能平台 PAI

问答标签：

人工智能平台 PAI方法人工智能平台 PAI评估机器学习平台 PAIpai 机器学习平台 PAI评估机器学习平台 PAI评估方法

问答地址：

开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

机器学习PAI有什么办法约定oss里面的评估文件夹名称么？

17

1

0

机器学习PAI一般部署类bert的funetune模型的方法有文档参考吗？

23

0

0

机器学习PAI怎么用Alink的相关方法解析取到metrics里的值？

16

2

0

机器学习PAI代码每次输出的结果都不一样，有没有类似随机种子的方法可以固定输出？

17

1

0

机器学习PAI中MaxCompute有方法成為永久的嗎?

34

5

0

机器学习PAI在分布式评估的时候，遇到了这个错误这是不是要改一下？

32

1

0

机器学习PAI部署的deeprec环境和用户自己下载的一样吗？

22

0

0

在机器学习PAI中的alink中不支持的算法如果想扩展该如何实现呢？

35

2

0

想请教个机器学习PAI问题？有个地方想优化一下，暂时没想到什么好的解决办法？

37

3

0

机器学习PAI alink里examples的means聚类算法示例本地能跑成功生产就不行为什？

27

1

0

大数据与机器学习

人工智能平台PAI

我要提问

热门讨论

热门文章

stable diffusion无法创建public url

如何高效的往交互建模（dsw）上传较大的文件，有从阿里云盘中直接下载或类似的方法吗？

小白想问一下nas上面的模型怎么通过pai-eas进行使用

机器学习PAI5000CU*H是多少小时？

通义灵码 idea版本的代码提示如何设置？

机器学习PAI能帮忙看下这是什么错误么？

dsw实例无法启动，卡在准备环境很久，然后显示以失败，求救

阿里云机器学习PAI可以自己装ollama吗？

今天有遇到机器学习PAI过SD模型，点查看WEB应用一直加载的情况嘛？

使用通义灵码时，对话框字体怎么设置？

展开全部

【玩转数据系列二】机器学习应用没那么难，这次教你玩心脏病预测

【玩转数据系列一】人口普查统计案例

【玩转数据系列五】农业贷款发放预测

【玩转数据系列四】听说啤酒和尿布很配？本期教你用协同过滤做推荐

【上报纸啦】95后大学生用机器学习PAI大战老年痴呆

PAI实现的深度学习网络可视化编辑功能-FastNeuralNetwork

利用PAI-DSW访问Github, 快速获取最新的学习资源

雾霾天气预测_56

【推荐算法】商品推荐_1450

展开全部

相关课程

更多

PAI平台学习路线：机器学习入门到应用

685

52

去学习

场景实践 - 机器学习PAI实现精细化营销

138

7

去学习

场景实践 - 基于阿里云PAI机器学习平台使用时间序列分解模型预测商品销量

97

8

去学习

场景实践 - 基于机器学习进行收入预测分析

62

6

去学习

机器学习概览及常见算法

29627

13

去学习

机器学习入门-概念原理及常用算法

13183

8

去学习

相关电子书

更多

大规模机器学习在蚂蚁+阿里的应用 立即下载

基于Spark的面向十亿级别特征的大规模机器学习 立即下载

基于Spark的大规模机器学习在微博的应用 立即下载

相关实验场景

更多