开发者社区> 问答> 正文

你好,目前业务上有一些字典文件需要在mapper或者reducer阶段查询,但是文件大小比较大,大概几百兆甚至几个G的样子,MaxCompute有分布式缓存的方案吗?? 查询的response time一般需要多少时间? 如果大于2G的话,可以用阿里云的redis之类的吗? 网络通吗?

你好,目前业务上有一些字典文件需要在mapper或者reducer阶段查询,但是文件大小比较大,大概几百兆甚至几个G的样子,MaxCompute有分布式缓存的方案吗?? 查询的response time一般需要多少时间? 如果大于2G的话,可以用阿里云的redis之类的吗? 网络通吗?

展开
收起
123ya 2017-05-14 22:24:20 5189 0
2 条回答
写回答
取消 提交回答
  • 单个请求不建议太大,阿里云redis的带宽是有限制的

    2019-07-17 21:10:11
    赞同 展开评论 打赏
  • 您好,资源文件目前是有限制的,单个 job 引用的resource 总计字节数大小不超过 2G。
    读取也是分布式去读取,方式您可以参考:
    https://help.aliyun.com/document_detail/27891.html?spm=5176.doc51847.6.669.1jrEvv
    另外响应时间没有确切保证,要根据您资源大小或者计算逻辑等,您可以测试下。另外,如果您的资源文件是结构化的数据,业务上如果允许sql操作的话,可以把资源文件上传到表中,然后使用sql与其他表关联处理。实际上如果用户sql可以解决的,也是推荐使用sql。由于沙箱限制,不允许访问其他数据库的。
    https://help.aliyun.com/document_detail/27967.html
    如果您的资源文件很大,建议上传到MaxCompute中然后mr读取再做逻辑处理。

    2019-07-17 21:10:11
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
基于社区的分布式 风险感知模型 立即下载
如何利用Redisson分布式化传统Web项目 立即下载
FLASH:大规模分布式图计算引擎及应用 立即下载