5.3 扩容问题
扩容问题（水平分库分表，拆分策略为常用的hash法）
- 水平扩容表（双写迁移法）:
- 将老库中的老数据复制到新库中；
- 应用配置双写，部署；
- 以老库为准校对新库中的老数据；
- 应用去掉双写，部署；
5.4 总结
- 分库分表，首先得知道瓶颈在哪里，然后才能合理地拆分（分库还是分表？水平还是垂直？分几个？）。且不可为了分库分表而拆分。
- 选key很重要，既要考虑到拆分均匀，也要考虑到非partition key的查询。
- 只要能满足需求，拆分规则越简单越好。
6. 部署上线方式
6.1 停机部署法
大致思路就是，挂一个公告，半夜停机升级，然后半夜把服务停了，跑数据迁移程序，进行数据迁移。
步骤如下:
- 出一个公告，比如“今晚00:00～6:00进行停机维护，暂停服务”
- 写一个迁移程序，读
db-old数据库，通过中间件写入新库db-new1和db-new2(具体如下图所示) - 校验迁移前后一致性，没问题就切该部分业务到新库。
6.2 双写部署法
这个就是不停机部署法，这里我需要先引进两个概念：历史数据和增量数据。
假设，我们是对一张叫做test_tb的表进行拆分，因为你要进行双写，系统里头和test_tb表有关的业务之前必定会加入一段双写代码，同时往老库和新库中写，然后进行部署，则：
- 历史数据：在该次部署前，数据库表test_tb的有关数据，我们称之为历史数据。
- 增量数据：在该次部署后，数据库表test_tb的新产生的数据，我们称之为增量数据。
然后迁移流程如下：
- 打开数据库
binlog日志 - 先计算你要迁移的那张表的
max(主键)。在迁移过程中，只迁移db-old中test_tb表里，主键小等于该max(主键)的值，也就是所谓的历史数据。这里有特殊情况，如果你的表用的是uuid，没法求出max(主键)，那就以创建时间作为划分历史数据和增量数据的依据。 - 写一个迁移程序，迁移
db-old中test_tb表里，主键小于该max(主键)的数据，也就是所谓的历史数据。
- 写一个订阅程序，订阅
binlog(mysql中有canal。至于oracle中，大家就随缘自己写吧)。然后将订阅到的数据通过中间件，写入新库。
- 检验一致性，没问题就切库。
6.3 验数据一致性
①先验数量是否一致
②检验具体的字段值是否一致，有两种方法：
- 只验关键性的几个字段是否一致
- 一次取50条(具体自己定，50只是举例)，然后像拼字符串一样，拼在一起。用md5进行加密，得到一串数值。新库一样如法炮制，也得到一串数值，比较两串数值是否一致。如果一致，继续比较下50条数据。如果发现不一致，用二分法确定不一致的数据在0-25条，还是26条-50条。以此类推，找出不一致的数据，进行记录即可
7. ShardingSphere配置
下面为3.x版本的配置
7.1 配置示例
1.数据分片:
sharding.jdbc.datasource.names=ds0,ds1 sharding.jdbc.datasource.ds0.type=org.apache.commons.dbcp.BasicDataSource sharding.jdbc.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver sharding.jdbc.datasource.ds0.url=jdbc:mysql://localhost:3306/ds0 sharding.jdbc.datasource.ds0.username=root sharding.jdbc.datasource.ds0.password= sharding.jdbc.datasource.ds1.type=org.apache.commons.dbcp.BasicDataSource sharding.jdbc.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver sharding.jdbc.datasource.ds1.url=jdbc:mysql://localhost:3306/ds1 sharding.jdbc.datasource.ds1.username=root sharding.jdbc.datasource.ds1.password= sharding.jdbc.config.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order$->{0..1} sharding.jdbc.config.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id sharding.jdbc.config.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order$->{order_id % 2} sharding.jdbc.config.sharding.tables.t_order.key-generator-column-name=order_id sharding.jdbc.config.sharding.tables.t_order_item.actual-data-nodes=ds$->{0..1}.t_order_item$->{0..1} sharding.jdbc.config.sharding.tables.t_order_item.table-strategy.inline.sharding-column=order_id sharding.jdbc.config.sharding.tables.t_order_item.table-strategy.inline.algorithm-expression=t_order_item$->{order_id % 2} sharding.jdbc.config.sharding.tables.t_order_item.key-generator-column-name=order_item_id sharding.jdbc.config.sharding.binding-tables=t_order,t_order_item sharding.jdbc.config.sharding.broadcast-tables=t_config sharding.jdbc.config.sharding.default-database-strategy.inline.sharding-column=user_id
2. 读写分离:
sharding.jdbc.datasource.names=master,slave0,slave1 sharding.jdbc.datasource.master.type=org.apache.commons.dbcp.BasicDataSource sharding.jdbc.datasource.master.driver-class-name=com.mysql.jdbc.Driver sharding.jdbc.datasource.master.url=jdbc:mysql://localhost:3306/master sharding.jdbc.datasource.master.username=root sharding.jdbc.datasource.master.password= sharding.jdbc.datasource.slave0.type=org.apache.commons.dbcp.BasicDataSource sharding.jdbc.datasource.slave0.driver-class-name=com.mysql.jdbc.Driver sharding.jdbc.datasource.slave0.url=jdbc:mysql://localhost:3306/slave0 sharding.jdbc.datasource.slave0.username=root sharding.jdbc.datasource.slave0.password= sharding.jdbc.datasource.slave1.type=org.apache.commons.dbcp.BasicDataSource sharding.jdbc.datasource.slave1.driver-class-name=com.mysql.jdbc.Driver sharding.jdbc.datasource.slave1.url=jdbc:mysql://localhost:3306/slave1 sharding.jdbc.datasource.slave1.username=root sharding.jdbc.datasource.slave1.password= sharding.jdbc.config.masterslave.load-balance-algorithm-type=round_robin sharding.jdbc.config.masterslave.name=ms sharding.jdbc.config.masterslave.master-data-source-name=master sharding.jdbc.config.masterslave.slave-data-source-names=slave0,slave1 sharding.jdbc.config.props.sql.show=true
3. 数据分片 + 读写分离：
sharding.jdbc.datasource.names=master0,master1,master0slave0,master0slave1,master1slave0,master1slave1 sharding.jdbc.datasource.master0.type=org.apache.commons.dbcp.BasicDataSource sharding.jdbc.datasource.master0.driver-class-name=com.mysql.jdbc.Driver sharding.jdbc.datasource.master0.url=jdbc:mysql://localhost:3306/master0 sharding.jdbc.datasource.master0.username=root sharding.jdbc.datasource.master0.password= sharding.jdbc.datasource.master0slave0.type=org.apache.commons.dbcp.BasicDataSource sharding.jdbc.datasource.master0slave0.driver-class-name=com.mysql.jdbc.Driver sharding.jdbc.datasource.master0slave0.url=jdbc:mysql://localhost:3306/master0slave0 sharding.jdbc.datasource.master0slave0.username=root sharding.jdbc.datasource.master0slave0.password= sharding.jdbc.datasource.master0slave1.type=org.apache.commons.dbcp.BasicDataSource sharding.jdbc.datasource.master0slave1.driver-class-name=com.mysql.jdbc.Driver sharding.jdbc.datasource.master0slave1.url=jdbc:mysql://localhost:3306/master0slave1 sharding.jdbc.datasource.master0slave1.username=root sharding.jdbc.datasource.master0slave1.password= sharding.jdbc.datasource.master1.type=org.apache.commons.dbcp.BasicDataSource sharding.jdbc.datasource.master1.driver-class-name=com.mysql.jdbc.Driver sharding.jdbc.datasource.master1.url=jdbc:mysql://localhost:3306/master1 sharding.jdbc.datasource.master1.username=root sharding.jdbc.datasource.master1.password= sharding.jdbc.datasource.master1slave0.type=org.apache.commons.dbcp.BasicDataSource sharding.jdbc.datasource.master1slave0.driver-class-name=com.mysql.jdbc.Driver sharding.jdbc.datasource.master1slave0.url=jdbc:mysql://localhost:3306/master1slave0 sharding.jdbc.datasource.master1slave0.username=root sharding.jdbc.datasource.master1slave0.password= sharding.jdbc.datasource.master1slave1.type=org.apache.commons.dbcp.BasicDataSource sharding.jdbc.datasource.master1slave1.driver-class-name=com.mysql.jdbc.Driver sharding.jdbc.datasource.master1slave1.url=jdbc:mysql://localhost:3306/master1slave1 sharding.jdbc.datasource.master1slave1.username=root sharding.jdbc.datasource.master1slave1.password= sharding.jdbc.config.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order$->{0..1} sharding.jdbc.config.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id sharding.jdbc.config.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order$->{order_id % 2} sharding.jdbc.config.sharding.tables.t_order.key-generator-column-name=order_id sharding.jdbc.config.sharding.tables.t_order_item.actual-data-nodes=ds$->{0..1}.t_order_item$->{0..1} sharding.jdbc.config.sharding.tables.t_order_item.table-strategy.inline.sharding-column=order_id sharding.jdbc.config.sharding.tables.t_order_item.table-strategy.inline.algorithm-expression=t_order_item$->{order_id % 2} sharding.jdbc.config.sharding.tables.t_order_item.key-generator-column-name=order_item_id sharding.jdbc.config.sharding.binding-tables=t_order,t_order_item sharding.jdbc.config.sharding.broadcast-tables=t_config sharding.jdbc.config.sharding.default-database-strategy.inline.sharding-column=user_id sharding.jdbc.config.sharding.default-database-strategy.inline.algorithm-expression=master$->{user_id % 2} sharding.jdbc.config.sharding.master-slave-rules.ds0.master-data-source-name=master0 sharding.jdbc.config.sharding.master-slave-rules.ds0.slave-data-source-names=master0slave0, master0slave1 sharding.jdbc.config.sharding.master-slave-rules.ds1.master-data-source-name=master1 sharding.jdbc.config.sharding.master-slave-rules.ds1.slave-data-source-names=master1slave0, master1slave1
4. 数据治理(注册中心统一配置)：
sharding.jdbc.datasource.names=ds,ds0,ds1 sharding.jdbc.datasource.ds.type=org.apache.commons.dbcp.BasicDataSource sharding.jdbc.datasource.ds.driver-class-name=org.h2.Driver sharding.jdbc.datasource.ds.url=jdbc:mysql://localhost:3306/ds sharding.jdbc.datasource.ds.username=root sharding.jdbc.datasource.ds.password= sharding.jdbc.datasource.ds0.type=org.apache.commons.dbcp.BasicDataSource sharding.jdbc.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver sharding.jdbc.datasource.ds0.url=jdbc:mysql://localhost:3306/ds0 sharding.jdbc.datasource.ds0.username=root sharding.jdbc.datasource.ds0.password= sharding.jdbc.datasource.ds1.type=org.apache.commons.dbcp.BasicDataSource sharding.jdbc.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver sharding.jdbc.datasource.ds1.url=jdbc:mysql://localhost:3306/ds1 sharding.jdbc.datasource.ds1.username=root sharding.jdbc.datasource.ds1.password= sharding.jdbc.config.sharding.default-data-source-name=ds sharding.jdbc.config.sharding.default-database-strategy.inline.sharding-column=user_id sharding.jdbc.config.sharding.default-database-strategy.inline.algorithm-expression=ds$->{user_id % 2} sharding.jdbc.config.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order$->{0..1} sharding.jdbc.config.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id sharding.jdbc.config.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order$->{order_id % 2} sharding.jdbc.config.sharding.tables.t_order.key-generator-column-name=order_id sharding.jdbc.config.sharding.tables.t_order_item.actual-data-nodes=ds$->{0..1}.t_order_item$->{0..1} sharding.jdbc.config.sharding.tables.t_order_item.table-strategy.inline.sharding-column=order_id sharding.jdbc.config.sharding.tables.t_order_item.table-strategy.inline.algorithm-expression=t_order_item$->{order_id % 2} sharding.jdbc.config.sharding.tables.t_order_item.key-generator-column-name=order_item_id sharding.jdbc.config.sharding.binding-tables=t_order,t_order_item sharding.jdbc.config.sharding.broadcast-tables=t_config sharding.jdbc.config.sharding.default-database-strategy.inline.sharding-column=user_id sharding.jdbc.config.sharding.default-database-strategy.inline.algorithm-expression=master$->{user_id % 2} sharding.jdbc.config.orchestration.name=spring_boot_ds_sharding sharding.jdbc.config.orchestration.overwrite=true sharding.jdbc.config.orchestration.registry.namespace=orchestration-spring-boot-sharding-test sharding.jdbc.config.orchestration.registry.server-lists=localhost:2181
7.2 配置项说明
1. 数据分片：
sharding.jdbc.datasource.names= #数据源名称，多数据源以逗号分隔 sharding.jdbc.datasource.<data-source-name>.type= #数据库连接池类名称 sharding.jdbc.datasource.<data-source-name>.driver-class-name= #数据库驱动类名 sharding.jdbc.datasource.<data-source-name>.url= #数据库url连接 sharding.jdbc.datasource.<data-source-name>.username= #数据库用户名 sharding.jdbc.datasource.<data-source-name>.password= #数据库密码 sharding.jdbc.datasource.<data-source-name>.xxx= #数据库连接池的其它属性 sharding.jdbc.config.sharding.tables.<logic-table-name>.actual-data-nodes= #由数据源名 + 表名组成，以小数点分隔。多个表以逗号分隔，支持inline表达式。缺省表示使用已知数据源与逻辑表名称生成数据节点。用于广播表（即每个库中都需要一个同样的表用于关联查询，多为字典表）或只分库不分表且所有库的表结构完全一致的情况 #分库策略，缺省表示使用默认分库策略，以下的分片策略只能选其一 #用于单分片键的标准分片场景 sharding.jdbc.config.sharding.tables.<logic-table-name>.database-strategy.standard.sharding-column= #分片列名称 sharding.jdbc.config.sharding.tables.<logic-table-name>.database-strategy.standard.precise-algorithm-class-name= #精确分片算法类名称，用于=和IN。该类需实现PreciseShardingAlgorithm接口并提供无参数的构造器 sharding.jdbc.config.sharding.tables.<logic-table-name>.database-strategy.standard.range-algorithm-class-name= #范围分片算法类名称，用于BETWEEN，可选。该类需实现RangeShardingAlgorithm接口并提供无参数的构造器 #用于多分片键的复合分片场景 sharding.jdbc.config.sharding.tables.<logic-table-name>.database-strategy.complex.sharding-columns= #分片列名称，多个列以逗号分隔 sharding.jdbc.config.sharding.tables.<logic-table-name>.database-strategy.complex.algorithm-class-name= #复合分片算法类名称。该类需实现ComplexKeysShardingAlgorithm接口并提供无参数的构造器 #行表达式分片策略 sharding.jdbc.config.sharding.tables.<logic-table-name>.database-strategy.inline.sharding-column= #分片列名称 sharding.jdbc.config.sharding.tables.<logic-table-name>.database-strategy.inline.algorithm-expression= #分片算法行表达式，需符合groovy语法 #Hint分片策略 sharding.jdbc.config.sharding.tables.<logic-table-name>.database-strategy.hint.algorithm-class-name= #Hint分片算法类名称。该类需实现HintShardingAlgorithm接口并提供无参数的构造器 #分表策略，同分库策略 sharding.jdbc.config.sharding.tables.<logic-table-name>.table-strategy.xxx= #省略 sharding.jdbc.config.sharding.tables.<logic-table-name>.key-generator-column-name= #自增列名称，缺省表示不使用自增主键生成器 sharding.jdbc.config.sharding.tables.<logic-table-name>.key-generator-class-name= #自增列值生成器类名称，缺省表示使用默认自增列值生成器。该类需提供无参数的构造器 sharding.jdbc.config.sharding.tables.<logic-table-name>.logic-index= #逻辑索引名称，对于分表的Oracle/PostgreSQL数据库中DROP INDEX XXX语句，需要通过配置逻辑索引名称定位所执行SQL的真实分表 sharding.jdbc.config.sharding.binding-tables[0]= #绑定表规则列表 sharding.jdbc.config.sharding.binding-tables[1]= #绑定表规则列表 sharding.jdbc.config.sharding.binding-tables[x]= #绑定表规则列表 sharding.jdbc.config.sharding.broadcast-tables[0]= #广播表规则列表 sharding.jdbc.config.sharding.broadcast-tables[1]= #广播表规则列表 sharding.jdbc.config.sharding.broadcast-tables[x]= #广播表规则列表 sharding.jdbc.config.sharding.default-data-source-name= #未配置分片规则的表将通过默认数据源定位 sharding.jdbc.config.sharding.default-database-strategy.xxx= #默认数据库分片策略，同分库策略 sharding.jdbc.config.sharding.default-table-strategy.xxx= #默认表分片策略，同分表策略 sharding.jdbc.config.sharding.default-key-generator-class-name= #默认自增列值生成器类名称，缺省使用io.shardingsphere.core.keygen.DefaultKeyGenerator。该类需实现KeyGenerator接口并提供无参数的构造器 sharding.jdbc.config.sharding.master-slave-rules.<master-slave-data-source-name>.master-data-source-name= #详见读写分离部分 sharding.jdbc.config.sharding.master-slave-rules.<master-slave-data-source-name>.slave-data-source-names[0]= #详见读写分离部分 sharding.jdbc.config.sharding.master-slave-rules.<master-slave-data-source-name>.slave-data-source-names[1]= #详见读写分离部分 sharding.jdbc.config.sharding.master-slave-rules.<master-slave-data-source-name>.slave-data-source-names[x]= #详见读写分离部分 sharding.jdbc.config.sharding.master-slave-rules.<master-slave-data-source-name>.load-balance-algorithm-class-name= #详见读写分离部分 sharding.jdbc.config.sharding.master-slave-rules.<master-slave-data-source-name>.load-balance-algorithm-type= #详见读写分离部分 sharding.jdbc.config.config.map.key1= #详见读写分离部分 sharding.jdbc.config.config.map.key2= #详见读写分离部分 sharding.jdbc.config.config.map.keyx= #详见读写分离部分 sharding.jdbc.config.props.sql.show= #是否开启SQL显示，默认值: false sharding.jdbc.config.props.executor.size= #工作线程数量，默认值: CPU核数 sharding.jdbc.config.config.map.key1= #用户自定义配置 sharding.jdbc.config.config.map.key2= #用户自定义配置 sharding.jdbc.config.config.map.keyx= #用户自定义配置
2. 读写分离：
#省略数据源配置，与数据分片一致 sharding.jdbc.config.sharding.master-slave-rules.<master-slave-data-source-name>.master-data-source-name= #主库数据源名称 sharding.jdbc.config.sharding.master-slave-rules.<master-slave-data-source-name>.slave-data-source-names[0]= #从库数据源名称列表 sharding.jdbc.config.sharding.master-slave-rules.<master-slave-data-source-name>.slave-data-source-names[1]= #从库数据源名称列表 sharding.jdbc.config.sharding.master-slave-rules.<master-slave-data-source-name>.slave-data-source-names[x]= #从库数据源名称列表 sharding.jdbc.config.sharding.master-slave-rules.<master-slave-data-source-name>.load-balance-algorithm-class-name= #从库负载均衡算法类名称。该类需实现MasterSlaveLoadBalanceAlgorithm接口且提供无参数构造器 sharding.jdbc.config.sharding.master-slave-rules.<master-slave-data-source-name>.load-balance-algorithm-type= #从库负载均衡算法类型，可选值：ROUND_ROBIN，RANDOM。若`load-balance-algorithm-class-name`存在则忽略该配置 sharding.jdbc.config.config.map.key1= #用户自定义配置 sharding.jdbc.config.config.map.key2= #用户自定义配置 sharding.jdbc.config.config.map.keyx= #用户自定义配置 sharding.jdbc.config.props.sql.show= #是否开启SQL显示，默认值: false sharding.jdbc.config.props.executor.size= #工作线程数量，默认值: CPU核数 sharding.jdbc.config.props.check.table.metadata.enabled= #是否在启动时检查分表元数据一致性，默认值: false
3. 数据治理：
#省略数据源、数据分片和读写分离配置 sharding.jdbc.config.sharding.orchestration.name= #数据治理实例名称 sharding.jdbc.config.sharding.orchestration.overwrite= #本地配置是否覆盖注册中心配置。如果可覆盖，每次启动都以本地配置为准 sharding.jdbc.config.sharding.orchestration.registry.server-lists= #连接注册中心服务器的列表。包括IP地址和端口号。多个地址用逗号分隔。如: host1:2181,host2:2181 sharding.jdbc.config.sharding.orchestration.registry.namespace= #注册中心的命名空间 sharding.jdbc.config.sharding.orchestration.registry.digest= #连接注册中心的权限令牌。缺省为不需要权限验证 sharding.jdbc.config.sharding.orchestration.registry.operation-timeout-milliseconds= #操作超时的毫秒数，默认500毫秒 sharding.jdbc.config.sharding.orchestration.registry.max-retries= #连接失败后的最大重试次数，默认3次 sharding.jdbc.config.sharding.orchestration.registry.retry-interval-milliseconds= #重试间隔毫秒数，默认500毫秒 sharding.jdbc.config.sharding.orchestration.registry.time-to-live-seconds= #临时节点存
