《PolarDB for PostgreSQL源码与应用实战》——PolarDB-PostgreSQL开源核心Feature介绍(3)

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
简介: 《PolarDB for PostgreSQL源码与应用实战》——PolarDB-PostgreSQL开源核心Feature介绍(3)

《PolarDB for PostgreSQL源码与应用实战》——PolarDB-PostgreSQL开源核心Feature介绍(2) https://developer.aliyun.com/article/1232761?groupCode=polardbforpg


基于CTS支持分布式全局一致性事务(2)


image.png


我们目前主要开源的是HLC的版本,在分布式下,每个提交时间戳提交的物理时间并不一定完全一致。比如T1在A节点和B节点,我们不能保证完全同时提交,另一个并发事务T2,可能会看到T1部分的修改,比如看到A提交了,看到了它的修改,但是B正在运行还没提交,根据隔离性它不可见,此时就无法保证分布式的一致性和隔离性。


我们可以采用2PC Prepare等待机制来解决全局提交一致性:采用2PC来提交一个分布式事务,在Prepare阶段,每个节点在CTS中写入该分布式事务的Prepared状态。Commit的时候,我们会去决策一个提交时间戳,再把提交时间戳发下去,把Prepare的状态原子的替换成提交时间戳,当另外一个并发事务T2对T1的修改进行可行性判断时,如果T1处于prepare的状态,我们就要等待T1结束,再进行时间戳的比较。


这样的话,我们就能避免在A节点、B节点看到部分提交结果的问题。


基于PostgreSQL数据结构的读等待机制设计


我们在读等待的时候,不能把Buffer的锁加上,这样的话会阻塞写,影响并发性能。如果发现它是prepare的,要等待它,我们首先要解锁Buffer shared锁,允许并发写进来,同时等待xid结束再去加buffer。


这个地方可以保证它还能找到原来的位置进行扫描,这是因为PG的逻辑就是它会有item去指向这些Tuple,Tuple可能会移动进行页面的compact,但是item是不会动的,它可以找到正确的位置,这样的话就可以保证正确性。同时buffer也会引用计数,这样保证buffer不会被删掉或做其它的操作。


基于HLC的分布式事务时钟算法(1)


image.png


我们基于HLC的去中心化的分布式事务时钟来支持分布式事务。


这个 HLC的算法在开源的代码里已经有了,但是协调逻辑分布式的代码还没有开源。我们后面加上分布式协调逻辑的代码以后,就可以支持真正的分布式事务。


我们现在单机上采用HLC来支持单机的事务,就是跑一个单机也能正确地跑,跑分布式的时候,基于HLC可以保证全局一致的事务。HLC的设计是物理和逻辑时钟混合,64位时钟由最低16位为逻辑时钟,中间46位物理时钟(毫秒)和最高两个保留位组成。


这样的话,逻辑时钟主要是用来追踪事务之间的因果先后顺序。物理时钟主要是用NTP或PTP去同步不同节点之间的物理时钟,来保证它们可以读到一个相对很新的快照。


每个节点维护一个max_ts时钟,并周期性持久化,重启后REDO恢复最大值。

我们有三个时钟操作,分别是ClockCurrent,ClockUpdate和ClockAdvance。

ClockCurrentc就是读取当前的Clock,相当于我们用Max_ts和本地的物理时钟local-phys-ts取最大值返回。ClockUpdate就是用一个Timestamp去更新Max_ts,我们取最大值。

ClockAdvance是把max_ts和 local-phys-ts取最大值后再加1返回,整个过程都是加锁来保证原子性。


上述操作中,local-phys-ts是本地机器获取的物理时钟,并取毫秒时间。左移16位与max_ts对其进行运算(max-ts最低16位是逻辑时钟)。


不同机器的物理时钟可以通过NTP或PTP协议进行同步,保证很小的时钟倾斜,保证跨协调节点之间的事务可以获取一个freshness的快照。


基于HLC的分布式事务时钟算法(2)



image.png


我们的时钟算法就是在事务Begin的时候,会在协调节点上为它分配ClockCurrent进行startTS,startTS到了每个DN节点以后,会用startTS去更新本地的Max-ts混合逻辑时钟。事务Prepare的时候会去每个参与节点调用ClockAdvance,获取prepareTS,同时返回给协调节点。协调节点会从所有的prepareTS选最大值作为commitTS,同时更新CN的混合逻辑时钟,并且下发给每个DN去提交事务,并且用commitTS去推动每个参与DN的混合逻辑时钟前进。


版本链提交时间戳递增


image.png



这个特性可以保证在版本链提交时间戳递增。


假设我们在一个DN上有两个事务T2、T3,T2先获得锁先进行提交,那么ClockUpdate就会用T2的commit_ts,使得该节点的max_ts大于等于T2的commit_ts,那T3获得锁再进行提交,决策的T3的commit-ts,就会大于等于DN1的prepare_ts,它就会大于等于 max{max_ts, local_phys_ts}+1,这样就能保证T3.commit_ts > max_ts >= T2.commit_ts,这样的话版本链时间戳是递增的。


Repeatable Read下,T3会被abort,从而避免丢失写问题。


《PolarDB for PostgreSQL源码与应用实战》——PolarDB-PostgreSQL开源核心Feature介绍(4) https://developer.aliyun.com/article/1232753?groupCode=polardbforpg






相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
27天前
|
数据库
|
2月前
|
存储 关系型数据库 分布式数据库
使用开源PolarDB和imgsmlr进行高效的图片存储和相似度搜索
使用开源PolarDB和imgsmlr进行高效的图片存储和相似度搜索
|
2月前
|
SQL JSON 关系型数据库
MySQL是一个广泛使用的开源关系型数据库管理系统,它有许多不同的版本
【10月更文挑战第3天】MySQL是一个广泛使用的开源关系型数据库管理系统,它有许多不同的版本
154 5
|
2月前
|
关系型数据库 分布式数据库 数据库
PolarDB 开源:推动数据库技术新变革
在数字化时代,数据成为核心资产,数据库的性能和可靠性至关重要。阿里云的PolarDB作为新一代云原生数据库,凭借卓越性能和创新技术脱颖而出。其开源不仅让开发者深入了解内部架构,还促进了数据库生态共建,提升了稳定性与可靠性。PolarDB采用云原生架构,支持快速弹性扩展和高并发访问,具备强大的事务处理能力及数据一致性保证,并且与多种应用无缝兼容。开源PolarDB为国内数据库产业注入新活力,打破国外垄断,推动国产数据库崛起,降低企业成本与风险。未来,PolarDB将在生态建设中持续壮大,助力企业数字化转型。
96 2
|
3月前
|
关系型数据库 分布式数据库 数据库
开源云原生数据库PolarDB PostgreSQL 15兼容版本正式发布
PolarDB进行了深度的内核优化,从而实现以更低的成本提供商业数据库的性能。
|
3月前
惊世骇俗!开源 PolarDB-X 部署安装大冒险,全程心跳与惊喜不断!
【9月更文挑战第8天】作为技术爱好者的我,近期成功完成了开源 PolarDB-X 的部署安装。尽管过程中遇到不少挑战,但通过精心准备环境、下载安装包、配置参数及启动服务等步骤,最终顺利实现部署。本文将详细介绍部署全过程及可能遇到的问题,为您的 PolarDB-X 探索之旅提供参考与启发,希望能让大家在技术海洋里畅游得更加顺利!
161 2
|
3月前
|
Cloud Native 关系型数据库 分布式数据库
PolarDB开源项目未来展望:技术趋势与社区发展方向
【9月更文挑战第5天】随着云计算技术的发展,阿里云推出的云原生分布式数据库PolarDB受到广泛关注。本文探讨PolarDB的未来展望,包括云原生与容器化集成、HTAP及实时分析能力提升、智能化运维与自动化管理等技术趋势;并通过加强全球开源社区合作、拓展行业解决方案及完善开发者生态等措施推动社区发展,目标成为全球领先的云原生数据库之一,为企业提供高效、可靠的服务。
105 5
|
3月前
|
关系型数据库 MySQL 分布式数据库
PolarDB开源社区动态:最新版本功能亮点与更新解读
【9月更文挑战第6天】随着云计算技术的发展,分布式数据库系统成为企业数据处理的核心。阿里云的云原生数据库PolarDB自开源以来备受关注,近日发布的最新版本在内核稳定性、性能、分布式CDC架构及基于时间点的恢复等方面均有显著提升,并新增了MySQL一键导入功能。本文将解读这些新特性并提供示例代码,帮助企业更好地利用PolarDB处理实时数据同步和离线分析任务,提升数据安全性。未来,PolarDB将继续创新,为企业提供更高效的数据处理服务。
192 3
|
2月前
|
关系型数据库 MySQL 分布式数据库
零基础教你用云数据库PolarDB搭建企业网站,完成就送桌面收纳桶!
零基础教你用云数据库PolarDB搭建企业网站,完成就送桌面收纳桶,邀请好友完成更有机会获得​小米Watch S3、小米体重称​等诸多好礼!
零基础教你用云数据库PolarDB搭建企业网站,完成就送桌面收纳桶!
|
3月前
|
关系型数据库 MySQL Serverless
探索PolarDB MySQL版:Serverless数据库的灵活性与性能
本文介绍了个人开发者对阿里云PolarDB MySQL版,特别是其Serverless特性的详细评测体验。评测涵盖了产品初体验、性能观测、Serverless特性深度评测及成本效益分析等方面。尽管试用过程中遇到一些小问题,但总体而言,PolarDB MySQL版表现出色,提供了高性能、高可用性和灵活的资源管理,是个人开发者和企业用户的优秀选择。

热门文章

最新文章

相关产品

  • 云原生数据库 PolarDB