表格存储中range翻页性能有办法优化吗?

表格存储中range翻页性能有办法优化吗?我们有个需求是查某个客户3年的流水数据,cust、ds作为主键,结果需要3秒左右,因为range查询的时候,要翻好几次页,每次扫描5000条就返回,我们next了好多轮,才最终取完数据。整表数据量不大,也就1亿条,1条,cust、ds主键,cust是均匀的,这个底层原理是去查cust对应的数据分片,然后扫描片上所有数据?5000条一次次翻,并且返回我们要的cust的,同时给出下一页的index?如果一个数据分片很大,上面有很大个cust的数据都在上面,是不是意味着要翻很多次呀?

展开
收起
fuxixi 2022-12-04 17:35:04 413 分享 版权
1 条回答
写回答
取消 提交回答
  • 慢的原因一是范围查询结果数据集比较大;二是单并发 GetRange 每次返回 5000 会有多次 RPC 交互。这个建议的优化手段是如果要导出大批量数据,最好是多并发导出。你的这个场景下,可以把 3 年时间拆分成多个时间范围并发执行 GetRange。此答案整理自钉钉群“表格存储技术交流群-2”

    2022-12-04 17:46:14
    赞同 展开评论

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

收录在圈子:
+ 订阅
阿里云存储基于飞天盘古2.0分布式存储系统,产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等,充分满足用户数据存储和迁移上云需求,连续三年跻身全球云存储魔力象限四强。
还有其他疑问?
咨询AI助理