开发者社区> 问答> 正文

你好,目前业务上有一些字典文件需要在mapper或者reducer阶段查询,但是文件大小比较大,大概几百兆甚至几个G的样子,MaxCompute有分布式缓存的方案吗?? 查询的response time一般需要多少时间? 如果大于2G的话,可以用阿里云的redis之类的吗? 网络通吗?

123ya 2017-05-14 22:24:20 1175

你好,目前业务上有一些字典文件需要在mapper或者reducer阶段查询,但是文件大小比较大,大概几百兆甚至几个G的样子,MaxCompute有分布式缓存的方案吗?? 查询的response time一般需要多少时间? 如果大于2G的话,可以用阿里云的redis之类的吗? 网络通吗?

缓存 分布式计算 NoSQL MaxCompute Redis
分享到
取消 提交回答
全部回答(2)
  • 夏周tony
    2019-07-17 21:10:11

    单个请求不建议太大,阿里云redis的带宽是有限制的

    0 0
  • 123ya
    2019-07-17 21:10:11

    您好,资源文件目前是有限制的,单个 job 引用的resource 总计字节数大小不超过 2G。
    读取也是分布式去读取,方式您可以参考:
    https://help.aliyun.com/document_detail/27891.html?spm=5176.doc51847.6.669.1jrEvv
    另外响应时间没有确切保证,要根据您资源大小或者计算逻辑等,您可以测试下。另外,如果您的资源文件是结构化的数据,业务上如果允许sql操作的话,可以把资源文件上传到表中,然后使用sql与其他表关联处理。实际上如果用户sql可以解决的,也是推荐使用sql。由于沙箱限制,不允许访问其他数据库的。
    https://help.aliyun.com/document_detail/27967.html
    如果您的资源文件很大,建议上传到MaxCompute中然后mr读取再做逻辑处理。

    0 0
添加回答
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题