OceanBase 源码解读(三):分区的一生-阿里云开发者社区

开发者社区> 开发者小助手-bz2> 正文

OceanBase 源码解读(三):分区的一生

简介: 源码是OceanBase的“方向盘”,本系列主要围绕“源码解读”,通过文章阐述,帮助大家理清数据库的内在本质。此前,带你读源码第二篇《戳这里回顾:OceanBase源码解读(二):SQL的一生》为大家介绍了OceanBase 数据库中一条 SQL 的执行流程主路径,包括接收、处理、返回结果给客户端的过程,探讨了OceanBase的SQL引擎模块。
+关注继续查看

121.gif

引言


源码是OceanBase的“方向盘”,本系列主要围绕“源码解读”,通过文章阐述,帮助大家理清数据库的内在本质。此前,带你读源码第二篇《戳这里回顾:OceanBase源码解读(二):SQL的一生》为大家介绍了OceanBase 数据库中一条 SQL 的执行流程主路径,包括接收、处理、返回结果给客户端的过程,探讨了OceanBase的SQL引擎模块。

本文为 OceanBase 数据库源码解读系列文章的第三篇,将主要为大家介绍 OceanBase  的存储层像相关知识

正文


假若分区是 OceanBase 的一等公民。一个表由一个或者若干个分区组成,分区是 OceanBase 逻辑上水平可扩展概念和物理上数据组织的基本单位。分区是自包含的:每个分区有自己独立的选举和 leader,独立的事务日志、数据存储和索引。分区可大可小,一般大小在 G B量级,它可以被 RS 在多个节点之间调度以实现负载均衡。


每个分区有一个唯一标识 OBPartitionKey,由租户 id、表 id、分区 id 组成。从存储层来说,每个节点就是存储和组织这些 key 对应的分区副本,每个节点上可以有数万个副本。副本有多种类型,比如只读副本与主副本之间不是通过 paxos 协议,而是异步消息同步事务日志。

image.png

image.gif


storage/ob_partition_service.h 是存储层的总入口,它对外提供了存储层的所有 RPC 服务,如创建删除分区副本。实际上,它是每个节点上所有分区级接口的入口,包括事务控制接口、分区读写的接口等。


前面讲过,建表和新增分区等 DDL 语句是由 RS 执行的,RS 在根据一定策略选定节点后,就会 RPC 调用这里的 create_xxx。


从这个入口一层一层追下去,可以找到所有存储结构。但存储层内部有大量类似的接口,很容易混淆。每个分区都是一个“索引组织表”,索引结构是多层的 LSM-Tree。虽然是多层,但是有参数可以调整,尽量只有内存里的 memtable(见storage/memtable)和磁盘上的 major sstable(见 storage/blocksstable)两层。每次 major compaction 的时候,memtable, minor sstable 的数据与原来的 major sstable 合并,产生新版本的 major sstable。在合并期间,可能有多个版本的 major sstable 同时提供服务。一个分区副本的多层存储结构合起来,就是类 OBPartitionStore。


分析到这里,大家还以为“分区是 OB 的一等公民”嘛吗?其实PG 才是。此 PG 非彼 PG。PG,Partition Group,表示共享同一个事务日志流和 memtable 的“有紧密关系的”一组分区。外部一般不使用这个特性,一般一个 PG 里面只有一个分区,这就是为什么这里的存储结构和操作对象会有奇怪的pg前缀和 OBPGKey了。


为了表达诚意,献上我画的存储结构相关类图。

image.png

image.gif

一图胜千言。


image.gifimage.png


sql/engine/table 是 SQL 物理执行计划中执行表扫描的算子,它通过 ob_partition_service.h 的 table_scan 接口获得一个迭代器(迭代结束要调用 revert_scan_iter),这就是存储层提供的数据访问入口。还有 DML(sql/engine/dml)使用的insert_rows, delete_rows, update_rows和lock_rows 等接口。


当分区或表被删除的时候,OBPGPartition 及其所有包含的存储结构将被删除。但是并非立即释放资源,要等所有引用失效且资源不被使用时执行清理。


以上便是分区的一生。在后续的源码解读第四篇我们将会为大家解析OceanBase 数据库事务的外部接口,敬请期待。



版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
使用NAT网关轻松为单台云服务器设置多个公网IP
在应用中,有时会遇到用户询问如何使单台云服务器具备多个公网IP的问题。 具体如何操作呢,有了NAT网关这个也不是难题。
26541 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
8657 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,大概有三种登录方式:
2844 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
10483 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
11950 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
8805 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
21739 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
3745 0
659
文章
0
问答
来源圈子
更多
蚂蚁OceanBase数据库团队,用于OceanBase技术原理、运维经验和案例分享、对外交流。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载