分库分表,做到永不迁移数据和避免热点的方法

简介: 分库分表,做到永不迁移数据和避免热点的方法: 基础: 1、数据拆分方式:垂直拆分,水平拆分。 2、垂直拆分:原来就一个数据库,数据量一大了,就拆分为多个数据库。 3、水平拆分:原来是t_order表,拆分成t_order_1、t_order_2、t_order_3、t_order_4。
分库分表,做到永不迁移数据和避免热点的方法:
    基础:
      1、数据拆分方式:垂直拆分,水平拆分。
      2、垂直拆分:原来就一个数据库,数据量一大了,就拆分为多个数据库。
      3、水平拆分:原来是t_order表,拆分成t_order_1、t_order_2、t_order_3、t_order_4。
      4、Mysql单表存储推荐是百万级,尽量别到千万级。
    分库分表方案:
      1、常用的方案:hash取模、range范围方案,分库分表方案最主要的就是路由算法,把路由的key按照指定的算法进行路由存放。        
      2、hash取模方案(无热点问题,扩容困难)
          (一)、首先预估一下总数据量m,设定每张表的最大数据量n,m/n=z 是表个数。
          (二)、hash方案就是对指定的路由key(如:id)对z进行取模,"t_order_"+id%z 是表名字。
          (三)、优缺点:优点是数据均匀的分布在每张表中,不会有热点问题;缺点是数据的迁移或者扩容会很麻烦。
      3、range范围方案(不需要迁移数据,有热点问题)
          (一)、range方案是以范围进行数据拆分:id=50在0~1000的在t_order_0表、id=1050在1000~2000的t_order_1表等。
          (二)、优缺点:优点是扩容方便,不需要数据迁移;缺点是id在0-1000时,t_order_0会很忙,t_order_1,t_order_2...t_order_n...都没有数据的访问,一段时间只有一个热点表。
      4、range和hash组合方案
          (一)、设计是比较简单的,就三张表,把group,db,table之间建立好关联关系。
          group表字段:group_id,group_name,start_id,end_id
          db表字段:db_id,db_name,group_id,hash_value
          group和db的关系表字段:table_id,table_name,db_id,start_id,end_id
          
  分库分表就会带来各种join组合条件的分页查询问题,怎样解决分页查询问题,很有挑战性。   
  
  1.事务问题:
    (1)、分布式事务 (2)、通过应用程序与数据库共同控制实现事务
          方案一:使用分布式事务
              优点:交由数据库管理,简单有效
              缺点:性能代价高,特别是shard(分片)越来越多时
          方案二:由应用程序和数据库共同控制
               原理:将一个跨多个数据库的分布式事务分拆成多个仅处
                     于单个数据库上面的小事务,并通过应用程序来总控
                     各个小事务。
               优点:性能上有优势
               缺点:需要应用程序在事务控制上做灵活设计。如果使用  
                     了spring的事务管理,改动起来会面临一定的困难。
  2.跨节点Join的问题
       只要是进行切分,跨节点Join的问题是不可避免的。但是良好的设计和切分却可以减少此类情况的发生。解决这一问题的普遍做法是分两次查询实现。在第一次查询的结果集中找出关联数据的id,根据这些id发起第二次请求得到关联数据。

  3.跨节点的count,order by,group by以及聚合函数问题

      这些是一类问题,因为它们都需要基于全部数据集合进行计算。多数的代理都不会自动处理合并工作。

  解决方案:与解决跨节点join问题的类似,分别在各个节点上得到结果后在应用程序端进行合并。和join不同的是每个结点的查询可以并行执行,因此很多时候它的速度要比单一大表快很多。但如果结果集很大,对应用程序内存的消耗是一个问题。

    
相关文章
|
18天前
|
存储 缓存 数据库
解决缓存与数据库的数据一致性问题的终极指南
解决缓存与数据库的数据一致性问题的终极指南
105 63
|
1月前
|
canal 缓存 NoSQL
Redis缓存与数据库如何保证一致性?同步删除+延时双删+异步监听+多重保障方案
根据对一致性的要求程度,提出多种解决方案:同步删除、同步删除+可靠消息、延时双删、异步监听+可靠消息、多重保障方案
Redis缓存与数据库如何保证一致性?同步删除+延时双删+异步监听+多重保障方案
|
2月前
|
存储 NoSQL 算法
Tair的发展问题之Tair对于过期数据的扫描和清理该如何处理
Tair的发展问题之Tair对于过期数据的扫描和清理该如何处理
|
4月前
|
缓存 NoSQL 中间件
应对数据库不断膨胀的数据:缓存和队列中间件
【6月更文挑战第5天】该文探讨了优化数据库使用以提升应用系统性能的策略。文中建议利用Redis缓存和MQ消息队列作为辅助工具,以进一步优化性能和减少资源消耗。
106 2
应对数据库不断膨胀的数据:缓存和队列中间件
|
3月前
|
SQL 数据处理
数据倾斜问题之WithDistmapjoin方案中热点数据和非热点数据的处理如何解决
数据倾斜问题之WithDistmapjoin方案中热点数据和非热点数据的处理如何解决
43 0
|
4月前
|
运维 关系型数据库 分布式数据库
PolarDB产品使用问题之表更新频繁,读取频繁,导致有很多慢日志,时间还很高,该怎么办
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
3月前
|
存储 缓存 数据库
分布式篇问题之全量缓存解决数据库和缓存的一致性问题如何解决
分布式篇问题之全量缓存解决数据库和缓存的一致性问题如何解决
|
4月前
|
存储 canal 缓存
【高频】如何保证缓存和数据库一致
【高频】如何保证缓存和数据库一致
|
4月前
|
缓存 NoSQL Java
高并发场景下缓存+数据库双写不一致问题分析与解决方案设计
高并发场景下缓存+数据库双写不一致问题分析与解决方案设计
|
4月前
|
canal 缓存 关系型数据库
高并发场景下,6种方案,保证缓存和数据库的最终一致性!
在解决缓存一致性的过程中,有多种途径可以保证缓存的最终一致性,应该根据场景来设计合适的方案,读多写少的场景下,可以选择采用“Cache-Aside结合消费数据库日志做补偿”的方案,写多的场景下,可以选择采用“Write-Through结合分布式锁”的方案,写多的极端场景下,可以选择采用“Write-Behind”的方案。
1047 0