第四章:OceanBase集群技术架构

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
EMR Serverless StarRocks,5000CU*H 48000GB*H
网络型负载均衡 NLB,每月750个小时 15LCU
简介: 第四章:OceanBase集群技术架构

1.Paxos协议与负载均衡

数据分区与分区副本

分区

1.当一个表很大的时候,可以水平拆分为若干个分区,每个分区包含表 的若干行记录。根据行数据到分区的映射关系不同,分为hash分区, List分区(按列表),range分区(按范围)等

2.每一个分区,还可以用不同的维度再分为若干分区,叫做二级分区

3.分区是OceanBase数据架构的基本单元,是传统数据库的分区表在分 布式系统上的实现


副本

1.为了数据安全和提供高可用的数据服务,每个分区的数 据在物理上存储多份,每一份叫做分区的一个副本

2.副本根据负载和特定的策略,由系统自动调度分散在多 个Server上。副本支持迁移、复制、增删、类型转换等 管理操作

支持三种副本,满足不同业务类型的需求

根据存储数据种类的不同,副本有几种不同的类型,以支持不同业务在在数据安全,性能伸缩性,可用性, 成本等之间进行取舍折中

全能型副本:也就是目前支持的普通副本,拥有事务日志,MemTable和SSTable等全部完整的数据和 功能。它可以随时快速切换为leader对外提供服务。

日志型副本:只包含日志的副本,没有MemTable和SSTable。它参与日志投票并对外提供日志服务, 可以参与其他副本的恢复,但自己不能变为主提供数据库服务。因为日志型副本所消耗的物理资源 (CPU、内存、磁盘)更少,它可以有效降低最后一副本机器的成本,进而降低整个集群的总体成本。

只读型副本:包含完整的日志,MemTable和SSTable等,但是它的日志比较特殊。它不作为paxos成 员参与日志的投票,而是作为一个观察者实时追赶paxos成员的日志,并在本地回放。这种副本可以在 业务对读取数据的一致性要求不高的时候提供只读服务。因其不加入paxos成员组,又不会造成投票成 员增加导致事务提交延时的增加。

类型 Log MemTable SSTable 数据安全
全能型 有,参与投票
日志型 有,参与投票
只读型 有,但不属于paxos组,只是listener

多副本一致性协议

以分区为单位组建Paxos协议组:每个分区都有多份副本(Replica),自动建立Paxos组,在分 区级用多副本保证数据可靠性和服务高可用,数据管理更加灵活方便。

• 自动选举主副本:OB自动生成多份副本,多副本自动选举主副本,主副本提供服务(如图黄色副 本供应用访问,蓝色副本用于备份)


自动负载均衡与智能路由

• 自动负载均衡:主副本均匀打散到各个服务器中,使 得各个服务器都能承载业务流量。(如图应用1、2、 3读请求分布路由到不同的OB Server)

每台OB Server相互独立:每台OB Server均可以独 立执行SQL,如果应用需要访问的数据在不同机器上, OB Server自动将请求路由至数据所在的机器,对业 务完全透明(如应用2->P6->P7/P8)

                         

通过多副本同步Redo Log确保数据持久化

• Paxos组成员通过Redo-Log的多数派强同步, 确保数据的持久化

• Leader无需等待所有Follower的反馈,多数派 完成同步即可向应用反馈成功

查看表和分区的分布情况

表及分区的相关信息储存在这两个系统表中。

系统表:__all_virtual_meta_table,关键信息
• tenant_id
• table_id
• partition_id
• svr_ip
• role:1 – leader, 2 - follower
系统表:__all_virtual_table,关键信息
• table_id
• table_name

OB Proxy为应用提供智能路由服务,应用透明访问

高效路由器转发

对SQL做基本解析,确定对应Leader所在机器

反向代理,将请求路由至对应Leader;Leader位置无法确定时随机选择OB Server

轻量SQL解析+快速转发,保证高性能,单OB Proxy每秒转发百万次请求。

“非”计算节点,无状态

每个OB Proxy是一个“无状态”的服务进程,不做数据持久化,对部署位置无要求。

OB Proxy不参与数据库引擎的计算任务,不参与事务(单机or分布式)处理

多个OB Proxy之间无联系,可通过F5/SLB组成负载均衡集

不需要独立服务器,可以与OB Server共用一台服务器,如果应用对实时性要求高,也可以将OB Proxy部署到应用服务器中。

通过设置Primary Zone,将业务汇聚到特定Zone

                                       

配置:(z1,z2,z3)     意义:ZONE_1=ZONE_2=ZONE_3

主副本均匀分布到各机器

适合批处理场景,希望尽快跑完,不关注某一个sql的执行时间,期望让整体任务尽快完成。

配置2:(z1;z2;z3)   意义:ZONE_1>ZONE_2>ZONE_3

主副本只在Zone1存在,Zone2和Zone3均是从副本

适合对时延敏感在线处理业务,业务量不大,不超过一台机器的处理能力,可以尽量避免跨服务器访问,从而降低时延。

配置3:(z1,z2,z3)   意义:(ZONE_1=ZONE_2)>ZONE_3

主副本均匀分布到Zone1和Zone2,Zone3均是从副本

适合三地五中心方案,将业务汇聚到距离较近的城市,距离较远的城市只承担从副本的角色。

通过为不同的租户配置不同的Primary Zone,可以将业务流量集中到若干Zone中,减少跨Zone及跨服务器 的操作。Zone List,逗号两侧优先级相同,分号左侧优先级高于右侧。

Primary Zone有租户、数据库和表不同的级别

如无特殊指定,自动继承上级对象的primary_zone:database继承租户的primary_zone设置, table继承database的primary_zone设置。


database和table可以指定各自的primary_zone,不必和上一级对象的设置保持一致;提供更加 灵活的负载均衡策略。

Table Group,将多个表的相同分区ID的主副本聚集在一个OB Server,减少分布式事务引入的开销

                                             

• 如果多个表的分区方式完全相同(分区类型、分区键个数、分区数量等) ,可以 在逻辑上将这些表归属到同一个Table Group中,以影响动态负载均衡的策略

• 同一个Table Group中的所有表,分区ID(partition_id)相同的所有分区,它们 的leader在同一个observer上;在不影响全局负载均衡的前提下,可有效减少分 布式事务引入的跨机访问开销

• 如果负载均衡被打破(服务器故障后、扩容缩容等),Table Group中的所有表会 作为一个整体来调整分区分布和leader分布

• 动态创建和删除,并且对上层应用完全透明

• 如果租户的unit_num=1且primary_zone只有一个zone,不需要tablegroup

Table Group举例

• 假设一个集群有3个Zone,租户的Unit Num是2,表1和表2的Primary Zone是负载均衡的

• 对于某一个员工(emp_id)来说,他/她的员工信息数据和薪水数据,一 定在同一个observer上提供服务,比如employees(p1)和salaries(p1)

• employees表和salaries表组成一个Table Group

• Table Group中相同分区ID的主副本均在一台OB Server上

• 整体负载均衡没有被打破,每台OB Server均有主副本和从副本

• 如果Zone1-OB Server1故障,那么T1(P1)+T2(P1)将会整体迁移



 


相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
1月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
152 6
|
14天前
|
人工智能 云计算 网络架构
阿里云引领智算集群网络架构的新一轮变革
11月8日~10日在江苏张家港召开的CCF ChinaNet(即中国网络大会)上,众多院士、教授和业界技术领袖齐聚一堂,畅谈网络未来的发展方向,聚焦智算集群网络的创新变革。
阿里云引领智算集群网络架构的新一轮变革
|
15天前
|
负载均衡 Dubbo 算法
集群容错架构设计
集群容错架构设计
25 1
集群容错架构设计
|
13天前
|
人工智能 运维 网络架构
阿里云引领智算集群网络架构的新一轮变革
11月8日至10日,CCF ChinaNet(中国网络大会)在江苏张家港召开,众多院士、教授和技术领袖共聚一堂,探讨网络未来发展方向。阿里云研发副总裁蔡德忠发表主题演讲,展望智算技术发展趋势,提出智算网络架构变革的新思路,发布高通量以太网协议和ENode+超节点系统规划,引起广泛关注。阿里云HPN7.0引领智算以太网生态蓬勃发展,成为业界标杆。未来,X10规模的智算集群将面临新的挑战,Ethernet将成为主流方案,推动Scale up与Scale out的融合架构,提升整体系统性能。
|
11天前
|
存储 缓存 NoSQL
【赵渝强老师】Memcached集群的架构
Memcached 是一个高性能的分布式内存对象缓存系统,通过在内存中维护一个巨大的 Hash 表来存储各种格式的数据,如图像、视频、文件及数据库检索结果等。它主要用于减轻数据库压力,提高网站系统的性能。Memcached 不支持数据持久化,因此仅作为缓存技术使用。其数据分布式存储由客户端应用程序实现,而非服务端。
【赵渝强老师】Memcached集群的架构
|
11天前
|
调度 Docker 容器
【赵渝强老师】Docker Swarm集群的体系架构
Docker Swarm自1.12.0版本起集成至Docker引擎,无需单独安装。它内置服务发现功能,支持跨多服务器或宿主机创建容器,形成集群提供服务。相比之下,Docker Compose仅限于单个宿主机。Docker Swarm采用主从架构,Swarm Manager负责管理和调度集群中的容器资源,用户通过其接口发送指令,Swarm Node根据指令创建容器运行应用。
|
1月前
|
负载均衡 安全 调度
Docker Swarm集群架构
【10月更文挑战第8天】
58 1
|
1月前
|
消息中间件 分布式计算 Kafka
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
40 0
|
1月前
|
SQL 存储 分布式计算
大数据-93 Spark 集群 Spark SQL 概述 基本概念 SparkSQL对比 架构 抽象
大数据-93 Spark 集群 Spark SQL 概述 基本概念 SparkSQL对比 架构 抽象
40 0
|
1月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
47 0
下一篇
无影云桌面