关于大数据量数据传输和存储问题 -问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

关于大数据量数据传输和存储问题

蛮大人123 2016-02-27 18:12:58 1686

场景一
条件:
数据库有表A,里面有100W条数据。
操作
把表里面的数据全部取出来,进行处理
问题
1.能不能一次全部取出来?既通过select 字段1,字段2 from A来取出数据?
(除了防止取出数据取出太多导致内存溢出,还有什么需要考虑的吗?)
2.这里需要确定每次需要取出来的数据的个数,需要考虑到哪些因素?

场景二
条件:
A服务有一批数据,需要调用B服务的接口来获取详细信息.B服务提供的是一个批量的接口
操作:
A服务通过RPC调用B服务
问题:
1.这里的一批数据能不能通过B服务的批量接口,通过一次RPC全部取过来(如果不能。主要担心的是什么?)
2.这里需要确定每次查询数据的个数,需要考虑到哪些因素?

存储 数据库
分享到
取消 提交回答
全部回答(1)
  • 蛮大人123
    2019-07-17 18:49:11

    2个场景先单纯的说一下:
    场景一:
    第一,你括弧中写的就是最大的问题。
    第二,不考虑第一里面的括弧,这第二个问题最需要考虑。
    你的需求是怎样的?有没有时间的限定?全拿一起处理也许会很慢,要不要分批分线程处理?当然全拿还要考虑db查询的速度和数据的准确性,100W如果字段不多没有大字段类型(text,blob等)应该还好。
    场景二:
    第一,这取决于B接口是怎么设计的,如果你想问的是能不能做到,答案是可以,主要担心的就是别给它太多了,它查的慢了?返回的太大了?
    第二:
    其实你的问题还是性能,100W的数据处理要分批,但不知道怎样做是最好的,我建议你先把这个处理的环境搭起来之后带入数据自己测一下,这方面的问题很复杂不是一两句能说清楚的。
    根据测试的结果自己来调节处理的速度和程序的性能,性能里面包含了实现,实现的方式也有很多种的,比如上面我提到的多线程处理,这还要看你查询的数据是否能使用分批的去做。

    0 0
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题
推荐课程