云原生数据库PolarDB分布式版(PolarDB-X)原理导读

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: 由于PolarDB-X相关文档比较丰富,知识点分布广泛,因此我专门整理一篇导读文章帮助大家更有节奏有方向的学习。本文所推荐文章会按照由浅入深的顺序,并且每个知识点前都会进行提问,大家可以带着问题进入章节学习。最后希望大家都能领会到分布式数据库的魅力。

要了解PolarDB-X的源码,首先要学习PolarDB-X的基本原理,建议可以从以下渠道开始学习。


由于PolarDB-X相关文档比较丰富,知识点分布广泛,因此我专门整理一篇导读文章帮助大家更有节奏有方向的学习。本文所推荐文章会按照由浅入深的顺序,并且每个知识点前都会进行提问,大家可以带着问题进入章节学习。最后希望大家都能领会到分布式数据库的魅力。


一、了解PolarDB-X诞生历史

问题:TDDL、DRDS、PolarDB-X各是什么时期的产品?

《PolarDB-X 的诞生和发展》

https://zhuanlan.zhihu.com/p/289870241

《PolarDB-X与DRDS有什么区别》

https://zhuanlan.zhihu.com/p/333458136

《PolarDB-X 与 X-DB、PolarDB》

https://zhuanlan.zhihu.com/p/296392729


二、了解整体架构

问题:什么是CN、DN、GMS、CDC? CN 和 DN 如何通信?

PolarDB-X 简介

https://zhuanlan.zhihu.com/p/290053012

《PolarDB-X:云原生分布式数据库》

https://zhuanlan.zhihu.com/p/343454525

《数据库架构杂谈(1)云数据库架构》

https://zhuanlan.zhihu.com/p/321353390

《PolarDB-X 私有协议设计》

https://zhuanlan.zhihu.com/p/308173106

《PolarDB-X 全局 Binlog 解读》

https://zhuanlan.zhihu.com/p/369115822

《PolarDB-X 全局 Binlog 解读之 DDL》

https://zhuanlan.zhihu.com/p/377854011


三、了解数据分布

问题:什么是Table Group 和 Partition Group ?为什么PolarDB-X默认选择Hash分区方式?

《PolarDB-X 数据分布解读(一)》和《PolarDB-X 数据分布解读》系列文章

https://zhuanlan.zhihu.com/p/395415647

《谈谈 PolarDB-X 的水平扩展》

https://zhuanlan.zhihu.com/p/357338439

《PolarDB-X 拆分规则变更》

https://zhuanlan.zhihu.com/p/358379137

《谈谈 PolarDB-X 的分区实现》

https://zhuanlan.zhihu.com/p/353697706

《分布式数据库如何实现 Join?》

https://zhuanlan.zhihu.com/p/349420901


四、PolarDB-X的ACID实现

问题:什么是MDL? 什么是双版本元数据? 什么是同城三机房和三地五中心?PolarDB-X的HA如何实现?

《PolarDB-X Online Schema Change》

https://zhuanlan.zhihu.com/p/341685541

《PolarDB-X:让“Online DDL”更Online》

https://zhuanlan.zhihu.com/p/347885003

《PolarDB-X:一条Alter语句修改拆分键、分区数》

https://zhuanlan.zhihu.com/p/346026906

《PolarDB-X 一致性共识协议 —— X-Paxos》

https://zhuanlan.zhihu.com/p/302845832

《PolarDB-X 存储架构之“基于Paxos的最佳生产实践”》

https://zhuanlan.zhihu.com/p/315596644


五、PolarDB-X的分布式事务实现

问题:XA和2PC有什么区别和联系?什么是TSO? 什么是HLC? 什么是MVCC?

《无处不在的 MySQL XA 事务》

https://zhuanlan.zhihu.com/p/372300181

《InnoDB事务 - 从原理到实现》

https://zhuanlan.zhihu.com/p/365415843

《PolarDB-X 强一致分布式事务原理》

https://zhuanlan.zhihu.com/p/329978215

《分布式数据库中的一致性与时间戳》

https://zhuanlan.zhihu.com/p/360690247

《PolarDB-X 全局时间戳服务的设计》

https://zhuanlan.zhihu.com/p/360160666

《PolarDB-X 分布式事务的实现(一)》

https://zhuanlan.zhihu.com/p/338535541

《PolarDB-X 分布式事务的实现(二)InnoDB CTS 扩展》

https://zhuanlan.zhihu.com/p/355413022

《PolarDB-X 分布式事务的实现(三):异步提交优化》

https://zhuanlan.zhihu.com/p/411794605

《PolarDB-X 分布式事务的实现(四):跨地域事务》

https://zhuanlan.zhihu.com/p/415744064


六、PolarDB-X优化器与执行器

问题:什么是AST?LogicalView算子是什么?什么是计算下推?如何查看执行计划?SPM是什么?MPP是什么?什么是隐式类型转换?

《查询优化器介绍》

https://help.aliyun.com/document_detail/316594.html

《查询执行器介绍》

https://help.aliyun.com/document_detail/316598.html

《执行计划介绍》

https://help.aliyun.com/document_detail/316590.html

《PolarDB-X 面向 HTAP 的 CBO 优化器》

https://zhuanlan.zhihu.com/p/336084031

《PolarDB-X 面向 HTAP 的混合执行器》

https://zhuanlan.zhihu.com/p/337062566

《PolarDB-X 的执行计划管理》

https://zhuanlan.zhihu.com/p/398558605

《PolarDB-X 中的计算下推》

https://zhuanlan.zhihu.com/p/366312701

《PolarDB-X 类型系统概述》

https://zhuanlan.zhihu.com/p/374130246

《子查询漫谈》

https://zhuanlan.zhihu.com/p/350009405

《PolarDB-X 向量化执行引擎(1)》

https://zhuanlan.zhihu.com/p/337574939

《优化器技术演进:统计信息feedback》

https://zhuanlan.zhihu.com/p/381127564


七、PolarDB-X资源管理和调度

问题:PolarDB-X内存池如何划分?动态抢占内存机制过程?一层调度和二层调度的区别?PolarDB-X如何解决调度死锁问题?

《PolarDB-X 如何用 15M 内存跑 TPC-H 1G?》

https://zhuanlan.zhihu.com/p/363435372

《PolarDB-X 并行计算框架》

https://zhuanlan.zhihu.com/p/346320114


八、PolarDB-X易用性

问题:如何在Kubernetes 上运行 PolarDB-X?SQL闪回如何实现? 发现问题SQL如何快速止血? 如何利用PolarDB-X特性优化慢SQL?  如何快速迁移数据?如何设计你的索引?

《PolarDB-X on Kubernetes(一)》

https://zhuanlan.zhihu.com/p/382877178

《PolarDB-X SQL 限流》

https://zhuanlan.zhihu.com/p/345227459

《PolarDB-X SQL 限流 (二)》

https://zhuanlan.zhihu.com/p/406517137

《如何分析及优化慢SQL》

https://help.aliyun.com/document_detail/311122.html

《如何分析数据分布不均衡》

https://help.aliyun.com/document_detail/309469.html

《PolarDB-X 智能索引推荐技术尝鲜》

https://zhuanlan.zhihu.com/p/346792091

《PolarDB-X 如何拯救误删数据的你(一)》

https://zhuanlan.zhihu.com/p/367137740

《真·异地多活架构怎么实现?使用PolarDB-X!》

https://zhuanlan.zhihu.com/p/364240552

《淘宝订单中隐藏的PolarDB-X最佳实践》

https://zhuanlan.zhihu.com/p/361903384

《1分钟搞定PolarDB-X的在线扩容》

https://zhuanlan.zhihu.com/p/342274954

《将WordPress从MySQL迁移到PolarDB-X》

https://zhuanlan.zhihu.com/p/382964588

《PolarDB-X 全局 Binlog 和备份恢复能力解读》

https://zhuanlan.zhihu.com/p/385608337

相关文章
|
6月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录,展现卓越性能与性价比。其轻量版满足国产化需求,兼具高性能与低成本,适用于多种场景,推动数据库技术革新与发展。
|
5月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
|
4月前
|
NoSQL 算法 安全
分布式锁—1.原理算法和使用建议
本文主要探讨了Redis分布式锁的八大问题,包括非原子操作、忘记释放锁、释放其他线程的锁、加锁失败处理、锁重入问题、锁竞争问题、锁超时失效及主从复制问题,并提供了相应的优化措施。接着分析了Redis的RedLock算法,讨论其优缺点以及分布式专家Martin对其的质疑。此外,文章对比了基于Redis和Zookeeper(zk)的分布式锁实现原理,包括获取与释放锁的具体流程。最后总结了两种分布式锁的适用场景及使用建议,指出Redis分布式锁虽有性能优势但模型不够健壮,而zk分布式锁更稳定但部署成本较高。实际应用中需根据业务需求权衡选择。
|
7月前
|
运维 NoSQL 算法
【📕分布式锁通关指南 04】redis分布式锁的细节问题以及RedLock算法原理
本文深入探讨了基于Redis实现分布式锁时遇到的细节问题及解决方案。首先,针对锁续期问题,提出了通过独立服务、获取锁进程自己续期和异步线程三种方式,并详细介绍了如何利用Lua脚本和守护线程实现自动续期。接着,解决了锁阻塞问题,引入了带超时时间的`tryLock`机制,确保在高并发场景下不会无限等待锁。最后,作为知识扩展,讲解了RedLock算法原理及其在实际业务中的局限性。文章强调,在并发量不高的场景中手写分布式锁可行,但推荐使用更成熟的Redisson框架来实现分布式锁,以保证系统的稳定性和可靠性。
331 0
【📕分布式锁通关指南 04】redis分布式锁的细节问题以及RedLock算法原理
|
10月前
|
存储 Dubbo Java
分布式 RPC 底层原理详解,看这篇就够了!
本文详解分布式RPC的底层原理与系统设计,大厂面试高频,建议收藏。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
分布式 RPC 底层原理详解,看这篇就够了!
|
9月前
|
机器学习/深度学习 存储 运维
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
525 4
|
9月前
|
运维 监控 Cloud Native
云原生之运维监控实践:使用 taosKeeper 与 TDinsight 实现对 时序数据库TDengine 服务的监测告警
在数字化转型的过程中,监控与告警功能的优化对保障系统的稳定运行至关重要。本篇文章是“2024,我想和 TDengine 谈谈”征文活动的三等奖作品之一,详细介绍了如何利用 TDengine、taosKeeper 和 TDinsight 实现对 TDengine 服务的状态监控与告警功能。作者通过容器化安装 TDengine 和 Grafana,演示了如何配置 Grafana 数据源、导入 TDinsight 仪表板、以及如何设置告警规则和通知策略。欢迎大家阅读。
293 0
|
11月前
|
分布式计算 Hadoop 网络安全
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
144 1
|
11月前
|
存储 机器学习/深度学习 缓存
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
218 1
|
10月前
|
存储 Cloud Native NoSQL
云原生时代的数据库选型与架构设计
云原生时代的数据库选型与架构设计
184 0

相关产品

  • 云原生分布式数据库 PolarDB-X