你好，目前业务上有一些字典文件需要在mapper或者reducer阶段查询，但是文件大小比较大，大概几百兆甚至几个G的样子，MaxCompute有分布式缓存的方案吗？？ 查询的response time一般需要多少时间？ 如果大于2G的话，可以用阿里云的redis之类的吗？ 网络通吗？
你好，目前业务上有一些字典文件需要在mapper或者reducer阶段查询，但是文件大小比较大，大概几百兆甚至几个G的样子，MaxCompute有分布式缓存的方案吗？？ 查询的response time一般需要多少时间？ 如果大于2G的话，可以用阿里云的redis之类的吗？ 网络通吗？
展开
收起
2
条回答
写回答
写回答
-
-
您好，资源文件目前是有限制的，单个 job 引用的resource 总计字节数大小不超过 2G。
读取也是分布式去读取，方式您可以参考：
https://help.aliyun.com/document_detail/27891.html?spm=5176.doc51847.6.669.1jrEvv
另外响应时间没有确切保证，要根据您资源大小或者计算逻辑等，您可以测试下。另外，如果您的资源文件是结构化的数据，业务上如果允许sql操作的话，可以把资源文件上传到表中，然后使用sql与其他表关联处理。实际上如果用户sql可以解决的，也是推荐使用sql。由于沙箱限制，不允许访问其他数据库的。
https://help.aliyun.com/document_detail/27967.html
如果您的资源文件很大，建议上传到MaxCompute中然后mr读取再做逻辑处理。2019-07-17 21:10:11赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
相关课程
更多
推荐问答
