第四章:OceanBase集群技术架构(动态扩容和缩容)

简介: 第四章:OceanBase集群技术架构(动态扩容和缩容)

动态水平扩展的场景

一个三副本的集群,每个Zone都有3000个分区的副本,扩容后,OceanBase自动将1500个分区的副本迁移到新服务器中的资源Unit中。

OceanBase可以很好的帮助业务线性的进行扩容和缩容,低成本的应对大型促销等活动。

动态扩容和缩容技术实现

一个表8个分区,扩容后,在每个Zone内,OceanBase自动将4个分区的副本迁移到新服务器的租户资源单元中,实现Zone内各个OB Server的负载均衡。整个扩容过程是在线动态扩容,对业务无感知,可以降低运维难度。

扩容基本步骤

1. 为每个zone添加新的物理机器

2. 在每台新添加的机器上,以正确的方式启动observer服务

3. 为每个新添加的observer进程执行alter system add server;命令,将observer服务添加到集群中 4. 执行alter resource pool unit_num = ;命令,扩充资源池中的unit 个数

5. OceanBase自动启动“rebalance”过程,将部分数据从旧的unit在线复制到新的unit上。此过程可能会 花费数十分钟,具体时间取决于数据量

6. 每个分区的数据复制完成后,OceanBase自动将服务切换到新的unit上,并删除旧unit中分区上的数据

数据复制的过程是否已经完成?查看__all_virtual_sys_task_status表,是否有comment like '%partition migration%'的任务


集群扩容

mysql>select pool,tenant_id,tenant.tenant_name,name as pool_name,unit_count,unit_config_id,pool.zone_list,__all_tenant tenant on pool.tenant_id=tenant_id inner join __all_unit unit on pool.unit_config_id=unit.ant_name,zone_list;

租户扩容——通过扩大资源池规格实现纵向扩展

扩容前集群及租户资源情况:

3-3-3-3集群,共5个Zone

租户资源池使用Zone1、Zone2、Zone3

规格为1C2G

资源单元数量为1(Unit Num=1)

扩容后集群及租户资源情况:

将租户资源池规格由1C2G扩容为2C8G

租户扩容——通过增大资源池Unit Num实现横向扩展

扩容前集群及租户资源情况:

3-3-3-3-3集群,共5个Zone

租户资源池使用Zone1、Zone2、Zone3

规格1C2G

资源单元数量为1

扩容后集群及租户资源情况:

将租户资源池的Unit Num由1扩容成3

负载均衡

基于负载均衡原则,会自动迁移部分数据到新Unit中(Zone内迁移)

数据追平后,新Unit中将选举出主副本,从而分流业务流量

租户扩容——增加系统可用性三副本扩容至五副本

扩容前集群及租户资源情况:

3-3-3-3-3集群,共5个Zone

租户资源池使用Zone1、Zone2、Zone3

规格1C2G

资源单元数量为1

扩容后集群及租户资源情况:

将租户资源池的由3个Zone扩容成5个Zone

负载均衡

从原来的3个Zone内的主副本那里复制数据(Paxos组成员有3个增加到5个)

数据追平后,新Unit中将选举出主副本,从而分流业务流量(根据Primary Zone的配置等情况)

缩容基本步骤

执行alter resource pool<pool name>unit_num=<smaller number>;命令,缩减资源池中的unit个数

OceanBase自动启动“rebalance”过程,将一部分数据复制到同zone内其他机器的unit上

每个分区数据复制完成后,OceanBase自动将服务切换到新的unit,之后删除下线机器的unit中分区上的数据

为每台要下线的机器执行alter system delete server;命令,完成机器下线的操作

手工终止已下线机器上的observer进程,并执行关机等操作


相关实践学习
部署高可用架构
本场景主要介绍如何使用云服务器ECS、负载均衡SLB、云数据库RDS和数据传输服务产品来部署多可用区高可用架构。
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
4月前
|
机器学习/深度学习 NoSQL Redis
Redis高可用之集群架构(第三部分)
Redis高可用之集群架构(第三部分)
|
4月前
|
弹性计算 容器
ACK集群高弹性架构
ACK集群高弹性架构
38 0
|
6月前
|
缓存 测试技术 数据中心
【计算机架构】计算 CPU 动态功耗 | 集成电路成本 | SPEC 基准测试 | Amdahl 定律 | MIPS 性能指标
【计算机架构】计算 CPU 动态功耗 | 集成电路成本 | SPEC 基准测试 | Amdahl 定律 | MIPS 性能指标
256 0
|
8月前
|
Oracle 关系型数据库 MySQL
第四章:OceanBase集群技术架构(分布式事务、MVCC、事务隔离级别)
第四章:OceanBase集群技术架构(分布式事务、MVCC、事务隔离级别)
272 0
|
2月前
|
存储 监控 NoSQL
Redis 架构深入:主从复制、哨兵到集群
大家好,我是小康,今天我们来聊下 Redis 的几种架构模式,包括主从复制、哨兵和集群模式。
Redis 架构深入:主从复制、哨兵到集群
|
2月前
|
分布式计算 API 数据处理
Flink【基础知识 01】(简介+核心架构+分层API+集群架构+应用场景+特点优势)(一篇即可大概了解flink)
【2月更文挑战第15天】Flink【基础知识 01】(简介+核心架构+分层API+集群架构+应用场景+特点优势)(一篇即可大概了解flink)
61 1
|
3月前
|
网络协议 中间件 数据库
Zookeeper学习系列【三】Zookeeper 集群架构、读写机制以及一致性原理(ZAB协议)
Zookeeper学习系列【三】Zookeeper 集群架构、读写机制以及一致性原理(ZAB协议)
100 0
|
4月前
|
存储 弹性计算 运维
ACK集群高弹性架构有哪些优缺点
ACK集群高弹性架构有哪些优缺点
44 0
|
5月前
|
弹性计算 Kubernetes 容器
ACK集群高弹性架构
ACK集群高弹性架构