PolarDB-X 的部署与运维(一)| 学习笔记

简介: 快速学习 PolarDB-X 的部署与运维。

开发者学堂课程【PolarDB-X 开源分布式数据库进阶课程 :PolarDB-X 的部署与运维(一)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/1202/detail/18163


PolarDB-X 的部署与运维  

 

内容介绍

一、PolarDB-X 简介

二、课程介绍

三、课程资源(运维系统)

四、国产 ARM 支持

五、企业级运维能力

六、参考资料

   

一、PolarDB-X 简介

1.PolarDB-X 架构

PolarDB-X 是阿里云自主研发的云原生分布式数据库,能支持千万级的并发,以及海量的数据存储。专注解决单击数据库的扩展性问题。目前 PolarDB-X 进行了数据开源。

下图是 polarDB-X 的架构,主要有四个组件构成。

image.png

第一部分是 GMS,又被称为元数据服务元数据服务 (Global Meta Service, GMS),它储存着整个 PolarDB-X 集群的元数据信息。同时也是分布式事务所依赖的提供全局授时服务(TSO)的受事机构。同时还能维护 Table/Schema、Statistic 等 Meta 信息。维护账号、权限等安全信息。

第二部分是计算节点(Compute Node,CN)。它是 PolarDB-X 集群流量的入口,服务器会将业务发送到 CN 节点对它进行基于无状态的 SQL 引擎提供分布式路由和计算,再导到 DN,再将处理的结果最终再返回给服务器,同时 cn 节点处理分布式事务的 2PC 协调、全局索引维护等。

第三个组件是存储节点 (Date Node,DN)节点,是实际数据存储的地方,同时他基于 Paxos实现了一个数据存储,保证我们数据的高可用,同时也会处理分布式的 mvc 事务进行可见性的判断,以此支持进行 RR、RC 级别的分布式事务。

第四个节点是日志节点(Change Data Capture, CDC),提供兼容 MySQL 生态的 binlog 协议和数据格式;提供兼容 MySQL Replication 主从复制的交互。它的主要作用是会将每一个 DN 节点上物理的 binlog 转化成逻辑的 binlog 流,以此达到和下流的大数据生态系统进行无缝的对接,方便用户将数据通过 ETL 的形式发送到大数据体系进行更进一步分析,对于用户而言拥有 CDC 可以将次看作一个单机的 MySQL。

 

二、课程介绍

在6月份基于 PolarDB-X 6.0版本推出“PolarDB-X 七天玩转开源训练营”的课程,在课程当中围绕着 PolarDB-X 的安装部署、快速使用、运维管理、整合优化以及高可用几个方面,对于 PolarDB-X 的原理以及整个使用方式做了一个详细介绍。与此同时还配套提供“跟我学 PolarDB-X”云起实验室的实验课程。在每一门课的结束都会配套一个云起小实验。让大家通过实际动手的方式了解 PolarDB-X 的使用方式。课程的网址是https://developeraliyun.com/learning/course/1032,可以点击了解关于 PolarDB-X 的基础知识,本节课就是在这些基础知识之上进行的。

经过几个月的迭代。 PolarDB-X 近期推出了 PolarDB-X V2.2 里程碑式的版本。在这个版本中具有一些国产化和企业型特质。

1.国产化适配

适配国产芯片,支持 ARM 平台架构;

适配国产操作系统 kylin/UOS 等

2.性价比优化

拥有更小起步规格,2core 8G 可部署;

同时对 RPC 协议、单节点的分布式事物做了优化,使得全方位性能优化,60%的性能提升。

3.云原生 HTAP

在这一版本中支持集群,能够方便的让业务通过读写分离的方式来实现在线业务与离线业务的资源墙隔离,提高50%的性能提升;

RO 节点能默认开启 MPP 并行计算,提高复杂查询的处理能力。

4.MY SQL 生态兼容性

在v2.2版本兼容 MySQL 存储过程、Uf 函数;

还推出兼容 MYSQL Auto Increment,它能提供全局唯一单调递增的有序序列。

5.数据库安全

在这一版本中支持全量 SQL 审计;

支持在误删数据的情况下,能帮助快速恢复的 flashback Query。

6.分布式数据管理

对于分布式数据管理而言,数据也是通过一定的策略分布在数据节点上,对数据进行一个高效的管理是衡量分布式数据库的一个重要指标,因此在v2.2这一版本中对于 PolarDB-X 的分区表管理能力做了进一步加强;具备基于 Locality 综合性调度;根据不同版本进行冷热数据分离调度,降低使用成本。

7.开源配套工具

配备了很多开源配套工具例如专门支持 DN 备份的 polardbx-backup ,压测工具 benchmark-boot ,数据导入导出工具 batch-tool。

8.轻量化部署和运维

在这一版本中,推出了众多企业级特性,例如强一致备份恢复、参数模板管理、容灾部署(同城三机房、两地三中心)等保护数据高可靠的能力。

这一次课程便是围绕 PolarDB-X v2.2里面的一些重要特性,来进行一一介绍和解读

课程资源:

源码搜索:在 Github:上直接搜索 GalaxySQL(对应的是 CN 节点)、 GalaxyEngine(对应的是 DN 节点)、 GalaxyGlue GalaxyCDC (对应的是 CDC 节点)、GalaxyKube(对应 polarDB-XD 的 operate 的代码)                                                                                                              

产品&文档网站 :https://doc.polardbx.com ,这里面包含一些 polarDB-X 的详细介绍

知乎官号:原理解读、源码解读、领域论文阅读

云起实验室:在这次课程中配套了《PolarDB-X 开源分布式数据库进阶》动手实践系列实验室,在课后通过实际动手操作进行练习。

相关文章
|
安全 虚拟化
GIC规格学习(一)
GIC规格学习(一)
911 0
|
3月前
|
存储 安全 Java
AgentScope Java 2.0:打造分布式、企业级智能体底座
AgentScope 2.0 面向分布式部署、稳定运行、权限安全等企业级需求全面升级,打造支持多租户隔离与长期稳定运行的企业级智能体底座。
1708 35
|
3月前
|
存储 运维 Java
AgentScope Builder 快速体验:用 Harness 框架快速构建企业自进化智能体
AgentScope Java 发布 Claw 个人助手和 Builder 企业平台组件,基于 Harness 框架实现工作区驱动的自我进化,支持从单机到分布式多租户的无缝切换。
|
9月前
|
数据采集 数据挖掘 BI
什么是数据标准?数据标准有什么作用?
本文深入浅出地解析了“数据标准”的核心概念、实践价值与落地方法。通过真实场景切入,阐明数据标准如何统一业务语言、保障数据质量、打破孤岛,并推动数据驱动决策。强调其为数据治理的基石,需从业务出发,小步快跑,工具化落地。
|
4月前
|
安全 算法 物联网
2026 人员定位系统主流技术解析:飞远光电融合方案适配全场景
飞远光电提供室内外多技术融合人员定位系统,集成UWB、蓝牙AOA与北斗,实现厘米级精度与无缝切换。具备实时定位、轨迹回放、电子围栏、SOS求助、智能考勤及数据可视化功能,广泛应用于化工、矿山、工地等高危场景,助力安全管理与运营效率双提升。
423 3
|
11月前
|
人工智能 运维 监控
MCP 打通AI大模型与 Zabbix,运维新时代来了!
管志勇,高级软件开发工程师、OceanBase认证专家,深耕软件开发多年,专注Zabbix运维开发与数据可视化。本文介绍其如何通过MCP协议实现大模型与Zabbix的智能联动,打造高效运维新范式。
1468 14
|
9月前
|
运维 Java 关系型数据库
微服务优缺点
微服务架构优势显著:易维护、技术栈灵活、升级隔离性强。但存在运维复杂、调用链路长、分布式事务难、学习成本高等挑战,需结合SpringCloud、Docker、Seata等技术协同解决,适合高并发、大体量系统构建。
|
10月前
|
人工智能 自然语言处理 供应链
2025中国工业软件厂商推荐,优质国产MES厂商有哪些特性?
在智能制造浪潮下,国产工业软件加速崛起。盘古信息凭借自主MES系统,赋能上千家工厂实现透明化生产,服务比亚迪、大疆等龙头企业,以技术领先、全场景覆盖和国产化适配优势,领跑国产MES赛道,推动“中国制造”迈向“中国智造”。
545 0
|
人工智能 运维 Cloud Native
【技术产品】DS三剑客:DeepSeek、DataSophon、DolphineSchduler浅析
在大数据与云原生技术快速发展的时代,开源技术成为推动行业进步的重要力量。本文深入探讨了三个备受瞩目的开源产品组件:DeepSeek、DataSophon 和 DolphinScheduler。DeepSeek 是专注于自然语言处理的大语言模型,具备多模态交互和高效推理功能;DataSophon 是大数据云原生平台的智能管家,提供快速部署和智能化运维;DolphinScheduler 则是分布式任务调度系统,支持复杂工作流的编排与执行。三者分别在大语言模型、大数据管理和任务调度领域展现了强大的技术实力,并通过技术互补共同推动AI与大数据技术的深度融合。
1992 2
【技术产品】DS三剑客:DeepSeek、DataSophon、DolphineSchduler浅析