技术白皮书—技术原理

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: 本文介绍了PolarDB-X的主要技术原理。

分布式线性扩展

PolarDB-X将数据表以水平分区的方式,分布在多个存储节点(DN)中。数据分区方式由分区函数决定,PolarDB-X支持哈希(Hash)、范围(Range)等常用的分区函数。

以下图为例,shop库中的orders表根据每行数据的id属性的哈希,被分区水平切分成orders_00~orders_11共计12个分区,均匀分布在4个数据节点上。对于用户来说,通常无需关心具体的数据分布,PolarDB-X的分布式SQL层将会自动完成查询路由、结果合并等。p330838.png

分布式线性扩展

PolarDB-X将数据表以水平分区的方式,分布在多个存储节点(DN)中。数据分区方式由分区函数决定,PolarDB-X支持哈希(Hash)、范围(Range)等常用的分区函数。

以下图为例,shop库中的orders表根据每行数据的id属性的哈希,被分区水平切分成orders_00~orders_11共计12个分区,均匀分布在4个数据节点上。对于用户来说,通常无需关心具体的数据分布,PolarDB-X的分布式SQL层将会自动完成查询路由、结果合并等。p330988.png

高可用与容灾

在生产环境部署数据库时往往会搭建多个副本(Replica),保证数据库集群的高可用性以及数据的持久性。为了保证副本间的强一致性,现代数据库往往采用以Paxos算法为代表的多数派复制协议,它要求集群中至少存在3个节点,每次写入都要获得超过半数节点的确认,即便其中1个节点宕机集群也仍然能正常提供服务。PolarDB-X采用X-Paxos复制协议,X-Paxos是阿里巴巴自研的Paxos协议实现,在功能、性能上都做了大量优化,且经历了数十载的双十一考验,稳定可靠。p330989.png

基于Paxos复制协议,PolarDB-X可以部署到多个机房中,以实现机房级容灾。常见的部署方式有同城三机房、两地三中心等,其中后者主要应用在混合云部署中。由于Paxos协议的特性,通常三个机房中有一个主机房负责对外提供服务。p330990.png

分布式事务

PolarDB-X原生支持分布式事务,并保证事务的ACID性质——原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)。

PolarDB-X通过引入中心授时节点(TSO),结合多版本并发控制(MVCC),保证读取到的一定是一致的快照,而不会读到转账事务的中间状态。如下图所示,提交事务时,计算节点(CN)执行事务时从TSO 获取到时间戳,随着数据一同提交到存储节点 (DN)多版本存储引擎上。读取时,如果查询操作的数据涉及多个分区,PolarDB-X首先会获取全局时钟作为读取版本,对每行数据的MVCC多版本进行可见性判断,确保读到全局一致的数据版本。p330993.png

分布式事务也是许多分布式特性的基础,例如:对于读写分离,数据的事务多版本信息也会被同步到 Learner 副本,保证读只读实例不会因为同步延迟读到过期数据;全局变更日志中,通过时间戳保证分布式事务顺序;任意时间点的数据恢复(PITR,point-in-time recovery)中,利用分布式事务时间戳,能够精准找到相应时间的、全局一致的数据版本。

混合负载 HTAP

PolarDB-X是一款支持 HTAP (Hybrid Transaction/Analytical Processing) 的数据库:在支持高并发、事务性请求的同时,也对分析型的复杂查询提供了良好的支持。分析型查询指的是涉及数据量较大、计算比较复杂的查询,例如对一定时间区间内的数据进行聚合。相比于业务中常见的简单查询,这类查询往往要执行数秒甚至分钟,需要消耗较多的计算资源。

为了加速复杂分析型查询,PolarDB-X将计算任务切分并调度到多个计算节点上,从而利用多个节点的计算能力,加速查询的执行。这种方式也称为MPP并行计算。p330996.png

PolarDB-X的优化器面向HTAP负载设计,对复杂查询有着良好的支持。PolarDB-X采用了基于代价的优化器技术,能够根据实际数据量、数据分布情况等,搜索到较优的执行计划,例如,对Join顺序进行调整、选择合适的Join或聚合算法、对关联子查询去关联化等。

PolarDB-X优化器会基于代价估计将请求区分为TP与AP负载,其中AP查询会被进一步改写为分布式执行计划,发往只读集群进行计算,避免它对主实例的TP查询造成影响。

MySQL生态兼容

PolarDB-X将兼容MySQL以及周边生态作为核心设计目标之一。本文从SQL语法、事务行为、导入导出等角度总结了兼容性相关特性,具体用法可以参见相关功能文档。

PolarDB-X通讯协议兼容MySQL协议,可以使用常见的MySQL客户端直接连接到PolarDB-X集群,包括 JDBC Driver、ODBC Driver、Golang Driver等。兼容MySQL SSL、Prepare、Load等传输协议。

PolarDB-X兼容MySQL的各种DML、DAL、DDL语法,包括:

  • 兼容绝大部分MySQL函数(包括JSON函数、加密解密函数等)。
  • 兼容MySQL 8.0的视图、CTE、窗口函数、分析函数等。
  • 支持MySQL的各种数据类型,包括类型精度支持(比如时间戳、Decimal 类型)。
  • 兼容常见的MySQL字符串Charset及Collation。
  • 兼容绝大部分information_schema视图。
相关实践学习
跟我学:如何一键安装部署 PolarDB-X
《PolarDB-X 动手实践》系列第一期,体验如何一键安装部署 PolarDB-X。
相关文章
|
运维 Kubernetes Cloud Native
云原生基本概念,核心技术、现状与前景|学习笔记
快速学习云原生基本概念,核心技术、现状与前景
745 0
云原生基本概念,核心技术、现状与前景|学习笔记
|
23天前
|
存储 C# 开发者
掌握 C#编程:关键技术与实践
【4月更文挑战第20天】掌握C#编程的关键技术,包括面向对象编程、数据类型、控制流、异常处理、集合泛型、委托事件和异步编程。通过学习基础、实践项目、代码调试、参考优秀代码、社区交流和持续学习来提升技能。注重代码质量,以开发高质量应用程序。
|
2月前
|
运维 Cloud Native 持续交付
云原生技术的未来展望:如何塑造下一代应用开发
【2月更文挑战第30天】 随着云计算的不断发展,云原生技术已经成为推动现代应用开发的重要力量。本文将深入探讨云原生技术的核心概念,分析其在提高开发效率、降低运维成本以及支持复杂业务场景中的作用。同时,文章还将预测云原生技术的发展趋势,并讨论如何在不断变化的技术环境中保持应用的敏捷性和可靠性。
|
12月前
|
存储 机器学习/深度学习 安全
《云上社交行业技术服务白皮书》——第五章 展望
《云上社交行业技术服务白皮书》——第五章 展望
72 0
|
12月前
|
安全 Cloud Native 智能网卡
带你读《2022龙蜥社区全景白皮书》——4.3 未来技术演进与展望
带你读《2022龙蜥社区全景白皮书》——4.3 未来技术演进与展望
109 1
|
存储 Cloud Native 安全
物联网课程论文:《基于云原生的物联网端管云系统方案综述与演进设想》
这篇论文八千多字,主题是 云原生+物联网平台。花了几天心思,查了很多篇论文,因为自己对物联网通信的硬件方面不太会,所以还是选择写综述类的论文了,这篇论文感觉技术深度和广度比我上一篇计算机网络论文要更加深刻一点。
物联网课程论文:《基于云原生的物联网端管云系统方案综述与演进设想》
|
自然语言处理 运维 监控
阿里云中间件发展历程和开源现状 | 学习笔记
快速学习阿里云中间件发展历程和开源现状
490 1
阿里云中间件发展历程和开源现状 | 学习笔记
|
SQL 存储 容灾
技术白皮书—技术原理
本文介绍了PolarDB-X的主要技术原理。
技术白皮书—技术原理
|
存储 SQL 运维
技术白皮书—技术架构
架构演进理念 当前,分布式领域有3大技术方向:Sharding技术,NewSQL原生分布式技术,云原生DB技术。每种分布式都有其独特的优势和特点。PolarDB-X的架构继承了DRDS和X-DB技术的稳定性,结合了PolarDB的云原生技术,融入了NewSQL对于分布式数据一致性的能力,为用户提供新的“云原生+分布式”的产品体验。
609 0
技术白皮书—技术架构
|
数据采集 容灾 关系型数据库
技术白皮书—解决方案与客户案例
异地多活数据库解决方案 方案背景 随着云计算的蓬勃发展,越来越多信息系统选择部署在云计算环境下,因此基于云产品为信息系统的服务能力和数据质量提供保障尤为重要。为了防止灾难性的故障如火灾、洪水、地震、区域电力中断或者人为破坏等对信息系统造成不可挽回的损坏,需要构建容灾系统来保障信息系统的可用性和安全性。
139 0
技术白皮书—解决方案与客户案例