问题一:请教机器学习PAIbatch size时候导致cuda报错问题怎么解决?
请教一下,之前遇到过比较大的batch size时候导致cuda报illegal memory access的问题吗?
参考回答:
当批量大小非常大时,可能会导致CUDA内存耗尽或发生illegal memory access的问题。这通常是因为模型需要的GPU内存超过了GPU可用内存的限制,或者由于模型参数的组织方式不同,而导致内存访问越界的问题。
您可以尝试调整批量大小,或者考虑使用更大的GPU内存。您还可以尝试使用分布式训练,将模型参数分散到多个GPU上,从而降低每个GPU的内存需求。而且您可以使用CUDA的内存管理工具,如cuda-memcheck和cuda-memleak-check,来帮助您诊断和解决这些问题。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/503289?spm=5176.8068049.0.0.77566d1989YhJO
问题二:机器学习PAI现在编译的版本是0.2.0吗,和release的0.4.0是不是有差别?
机器学习PAI现在编译的版本是0.2.0吗,和release的0.4.0是不是有差别?
参考回答:
有些差别了,用新的吧
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/503287?spm=5176.8068049.0.0.77566d1989YhJO
问题三:请问机器学习PAI中bladedisc在不需要dynamic的场景时可以关掉吗
请问机器学习PAI中bladedisc在不需要dynamic的场景时可以关掉吗?
参考回答:
如果是 PyTorch 的话,有一个 config 可以设置打开 static shape 优化,https://github.com/alibaba/BladeDISC/blob/main/pytorch_blade/torch_blade/config.py#L287
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/503285?spm=5176.8068049.0.0.77566d1989YhJO
问题四:机器学习PAI使用blade遇到超过pb限制的问题,请问有参数可以绕过去吗?
机器学习PAI使用blade遇到超过pb限制的问题,请问有参数可以绕过去吗?
参考回答:
看是在那个阶段出现的pb限制问题,新版本的bladedisc应该只有在tf圈图后导出子图编译时会使用pb,bladedisc编译完成后结果不会用pb来存储。这种情况下原始的pb应该就超过的2GB?(如果子图就超过了的话),一种可能的workaround方式时不freeze graph,这样const就不会被编译。另外老版本的bladedisc会使用pb来存储一部分编译后的结果,这个也会有可能超过2GB的限制,如果是这个问题,升级bladedisc应该可以解决
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/503284?spm=5176.8068049.0.0.77566d1989YhJO
问题五:机器学习PAI给userid推荐问题,可以帮忙看下吗?
机器学习PAI给userid推荐,也需要输入你要推荐的候选 itemids,才可以计算出rating进行推荐。需要同时提供用户和物品的特征向量作为输入,如果只提供用户的特征,模型没有办法计算rating。那训练是一行数据只有一个itemid的话,推荐时就需要把所有后选的itemid的数据全传进去是吗?
参考回答:
是的,在推荐时,通常需要将候选物品的特征一并传递给推荐模型。如果候选物品数量较大,可以考虑对物品进行批量预测或筛选,可以提高推荐效率
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/503283?spm=5176.8068049.0.0.77566d1989YhJO