一个50G的数据文件,要在pai内频繁进行随机访问,采用什么方式读取比较好呢?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

一个50G的数据文件,要在pai内频繁进行随机访问,采用什么方式读取比较好呢?

airxiechao2 2017-11-27 09:18:05 2286

PAI是阿里云的机器学习产品,有tensorflow运行环境,可以运行python文件;
50G的数据文件时100w张图片的二进制打包,上传在oss;
我的模型是xception,每个batch的数据是从那个数据文件随机读取出来的;

问题来了:在pai内随机读取oss,什么方式比较好呢?

pai什么 pai访问 数据文件访问
分享到
取消 提交回答
全部回答(0)
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

相似问题
最新问题