你好,目前业务上有一些字典文件需要在mapper或者reducer阶段查询,但是文件大小比较大,大概几百兆甚至几个G的样子,MaxCompute有分布式缓存的方案吗?? 查询的response time一般需要多少时间? 如果大于2G的话,可以用阿里云的redis之类的吗? 网络通吗?
您好,资源文件目前是有限制的,单个 job 引用的resource 总计字节数大小不超过 2G。
读取也是分布式去读取,方式您可以参考:
https://help.aliyun.com/document_detail/27891.html?spm=5176.doc51847.6.669.1jrEvv
另外响应时间没有确切保证,要根据您资源大小或者计算逻辑等,您可以测试下。另外,如果您的资源文件是结构化的数据,业务上如果允许sql操作的话,可以把资源文件上传到表中,然后使用sql与其他表关联处理。实际上如果用户sql可以解决的,也是推荐使用sql。由于沙箱限制,不允许访问其他数据库的。
https://help.aliyun.com/document_detail/27967.html
如果您的资源文件很大,建议上传到MaxCompute中然后mr读取再做逻辑处理。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。