开发者社区 > PolarDB开源 > PolarDB 分布式版 > 正文

PolarDB的AP场景列存的性能对列数有要求吗?

PolarDB的AP场景列存的性能对列数有要求吗?数据量预估100w行,实例是polar.mysql.g4.medium.ali,目前因为有AP场景,在评估增加列存节点,如果接入AP场景,宽表列数目前是350列,预计后面会增加到500-1000左右

展开
收起
三分钟热度的鱼 2023-12-28 19:50:26 44 0
2 条回答
写回答
取消 提交回答
  • 在PolarDB中,针对AP(分析处理)场景的列存索引(如IMCI),其性能与表的列数是有一定关系的。列存索引特别适合于处理大数据量和宽表查询,尤其是涉及对部分列进行聚合操作的OLAP查询。

    随着列数的增加,可能会面临以下挑战:

    1. 存储成本
      列存索引会将每一列独立存储并压缩,列数越多,理论上占用的空间也会更大。不过,由于列存索引只加载查询所需列的数据,因此对于特定查询来说,可能并不会显著增加I/O负担。

    2. 查询性能
      对于高度选择性的查询(即查询条件仅涉及少量列),列存索引可以提供良好的性能提升。但若查询涉及大量列,尤其是在扫描全表或大部分数据的情况下,查询优化器需要合理选择加载哪些列以平衡资源消耗和响应速度。

    3. 系统资源使用
      随着列数增多,查询解析、执行计划生成以及内存资源使用等环节都可能受到影响,特别是在内存有限的情况下,需确保实例规格能够应对更复杂的查询需求。

    4. 维护开销
      列存索引的维护和更新也与列数有关,更多列意味着索引更新时需要处理的数据量更大,这可能会影响写入性能和并发性。

    对于你提到的实例规格polar.mysql.g4.medium.ali,建议评估该实例在现有及未来预期列数下的实际负载表现,包括CPU、内存、I/O等方面的资源使用情况,并根据业务需求调整实例规格或者采用其他优化策略(例如分区表、合理的列存索引设计等)。

    2023-12-29 23:24:23
    赞同 展开评论 打赏
  • PolarDB没有明确的限制,查询性能也不是这一个维度决定的,你们的业务是没问题的,可以开个按量付费的实例测试一下试试。此回答整理自钉群“PolarDB专家面对面 - HTAP(列存索引)”

    2023-12-28 20:04:24
    赞同 展开评论 打赏

PolarDB 分布式版 (PolarDB for Xscale,简称“PolarDB-X”) 是阿里云自主设计研发的高性能云原生分布式数据库产品,为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。

相关电子书

更多
云栖大会:开源 PolarDB 架构演进、关键技术与社区建设 立即下载
2023云栖大会:和客户一起玩转PolarDB新特性 立即下载
2023云栖大会:PolarDB for AI 立即下载