乘数科技 × PolarDB开源云管控解决方案:如何用CLup管理PolarDB

本文涉及的产品
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: 本文介绍了乘数科技自主研发的PostgresSQL数据库管理平台CLup,以及如何使用CLup创建和管理PolarDB。

作者:唐成,《PostgreSQL修炼之道:从小工到专家》的作者,中启乘数科技联合创始人,PostgreSQL中国用户会常委。

摘要:本文介绍了乘数科技自主研发的PostgresSQL数据库管理平台CLup,以及如何使用CLup创建和管理PolarDB。

一、专业的PostgreSQL数据库管理平台CLup

1. CLup产品介绍


a. CLup是什么?


CLup是乘数科技自主研发的一款管理PostgreSQL/PolarDB数据库的云平台高可用集群管理软件。

  1. - 实现PostgreSQL/PolarDB数据库的私有云RDS产品;
  2. - PostgreSQL/PolarDB集群统一管理、统一运维;
  3. - PostgreSQL/PolarDB集群的故障自动切换、读写分离等高可用功能;
  4. - 实现对PostgreSQL/PolarDB数据库性能的监控管理;
  5. - 对PostgreSQL/PolarDB的TopSQL的管理;

b. 架构说明

  • - 在一台机器上部署的CLup管理节点,这个管理节点提供WEB管理界面统一管理所有的PostgreSQL/PolarDB数据库;
  • - 在数据库主机上部署clup-agent,CLup管理节点通过clup-agent来管理这台机器的PostgreSQL/PolarDB数据库。

2. CLup的高可用和读写分离功能

a. 保障数据可用性

  • - 高可用机制自动切换;
  • - 保障数据一致性;

b. 读写分离

  • - 提供读写VIP(虚拟IP);
  • - 读写分离高可用;

c.负载均衡

  • - 多个只读备库之间负载均衡;

d. 高扩展性

  • - 读线性扩展;
  • - 支持分库分表;

3. CLup管理界面

a. 性能监控

b. TopSQL功能

CLup可以实现TopSQL的监控功能。


c. 在Web界面中管理数据库

二、PolarDB环境准备

1. 创建PolarDB的要求

a. 安装要求

  • - 共享盘:大于等于20GB
  • - CLup的高可用需要VIP
  • - 操作系统:CentOS7.X
  • - 盘路径:/dev/nvmeXnY

b. 机器需求

  • - 4台虚拟机器或物理机;
  • - 1台做CLup管理节点:内存大于2GB;
  • - 3台做数据库节点:内存大于4GB,有反亲和性,即能分布在不同的物理机上以保证高可用性。

2. 阿里云环境中创建PolarDB的方法

共享盘使用阿里云自带的高性能Nvme盘,挂载Nvme盘有如下要求:

a. 可用区:

  • - 华东1(杭州)可用区I;
  • - 华东2(上海)可用区B;
  • - 华北2(北京)可用区K;
  • - 华南1(深圳)可用区F;

b. 虚拟机:

  • - 规格:g7se/c7se/r7se;
  • - 付费方式:按量付费;

注:阿里云的VIP功能目前还在内侧阶段,需要申请。

3. 其他云环境中使用CLup创建PolarDB的情况

a. 天翼云

  • - 共享盘:所有虚拟机都可以挂载;
  • - 有VIP;
  • - 机器有反亲和性;

b. 华为云

  • - 有共享盘;
  • - 有VIP;
  • - 机器有反亲和性;

c. 移动云

  • - 共享盘:所有虚拟机都可以挂载;
  • - 有VIP;
  • - 机器有弱反亲和性;

d. 腾讯云

  • - 无共享盘;
  • - VIP是内测阶段;
  • - 机器的反亲和性:不清楚;

e. 联通云

  • - 无共享盘;
  • - 有VIP;
  • - 机器有反亲和性。

4. 创建PolarDB需要的阿里云环境

虚拟机的选择:在“增强型”下选择2vCPU 4GB机型;

创建部署集,部署集把虚拟机打散到不同物理机上;

创建高可用虚拟IP;

将高可用虚拟IP绑定到多台数据库主机;

创建虚拟机的时选中的盘都不是共享盘,必须在创建虚拟机后,单独添加共享盘;

安装依赖包:

- libaio.x86_64 libaio-devel.x86_64

- libicu.x86_64 libicu-devel.x86_64

安装方法:

yum install libaio.x86_64 libaio-devel.x86_64 libicu.x86_64 libicu-devel.x86_64

三、使用CLup创建PolarDB

操作步骤:

1. 创建PolarDB共享存储集群

在集群定义页面,点击创建集群,选择“创建PolarDB共享存储集群”;

进入创建页面,依次完成选择数据库-集群信息-集群探测-数据库配置,并提交;

完成集群信息后需要先进行检测,无误后才能进入下一步;

集群探测:

数据库配置:

查看日志信息,显示启动数据库成功,即创建完成;

2. 进入数据库列表查看

进入数据库页面,点击“更多”选择psql进入;

3. PolarDB共享存储集群上线

进入HA管理页面,选择刚创建的PolarDB共享存储集群,点击“上线”;

4. 切换测试

进入数据库管理页面,操作主备数据库切换。

在阿里云中使用CLup创建和管理PolarDB的详细指南请参考:https://www.csudata.com/clup/manual/4.x/10010

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
21天前
|
存储 容灾 关系型数据库
PolarDB开源数据库进阶课11 激活容灾(Standby)节点
本文介绍了如何激活PolarDB容灾(Standby)节点,实验环境依赖于Docker容器中用loop设备模拟共享存储。通过`pg_ctl promote`命令可以将Standby节点提升为主节点,使其能够接收读写请求。激活后,原Standby节点不能再成为PolarDB集群的Standby节点。建议删除对应的复制槽位以避免WAL文件堆积。相关操作和配置请参考系列文章及视频教程。
31 1
|
21天前
|
存储 NoSQL 关系型数据库
PolarDB开源数据库进阶课17 集成数据湖功能
本文介绍了如何在PolarDB数据库中接入pg_duckdb、pg_mooncake插件以支持数据湖功能, 可以读写对象存储的远程数据, 支持csv, parquet等格式, 支持delta等框架, 并显著提升OLAP性能。
37 0
|
21天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课15 集成DeepSeek等大模型
本文介绍了如何在PolarDB数据库中接入私有化大模型服务,以实现多种应用场景。实验环境依赖于Docker容器中的loop设备模拟共享存储,具体搭建方法可参考相关系列文章。文中详细描述了部署ollama服务、编译并安装http和openai插件的过程,并通过示例展示了如何使用这些插件调用大模型API进行文本分析和情感分类等任务。此外,还探讨了如何设计表结构及触发器函数自动处理客户反馈数据,以及生成满足需求的SQL查询语句。最后对比了不同模型的回答效果,展示了deepseek-r1模型的优势。
72 0
|
21天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课14 纯享单机版
PolarDB不仅支持基于“共享存储+多计算节点”的集群版,还提供类似开源PostgreSQL的单机版。单机版部署简单,适合大多数应用场景,并可直接使用PostgreSQL生态插件。通过Docker容器、Git克隆代码、编译软件等步骤,即可完成PolarDB单机版的安装与配置。具体操作包括启动容器、进入容器、克隆代码、编译软件、初始化实例、配置参数及启动数据库。此外,还有多个相关教程和视频链接供参考,帮助用户更好地理解和使用PolarDB单机版。
35 0
|
21天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课13 单机版转换为集群版
本文介绍如何将“本地存储实例”转换为“共享存储实例”,依赖于先前搭建的实验环境。主要步骤包括:准备PFS二进制文件、格式化共享盘为pfs文件系统、启动pfsd服务、停库并拷贝数据到pfs内、修改配置文件,最后启动实例。通过这些操作,成功实现了从本地存储到共享存储的转换,并验证了新实例的功能。相关系列文章和视频链接提供了更多背景信息和技术细节。
21 0
|
14天前
|
关系型数据库 分布式数据库 数据库
喜报|PolarDB开源社区荣获“2024数据库国内活跃开源项目”奖
喜报|PolarDB开源社区荣获“2024数据库国内活跃开源项目”奖
|
21天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课12 集群版转换为单机版
本文介绍了如何将“共享存储实例”转换为“本地存储实例”,实验环境依赖于Docker容器中的loop设备模拟共享存储。具体步骤包括准备本地目录、停库、拷贝数据、修改配置文件并启动实例。通过这些操作,可以实现从共享存储到本地存储的平滑转换。相关系列文章详细记录了PolarDB RAC一写多读集群的搭建与管理,提供了丰富的实战经验。
20 2
|
21天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课18 通过pg_bulkload适配pfs实现批量导入提速
本文介绍了如何修改 `pg_bulkload` 工具以适配 PolarDB 的 PFS(Polar File System),从而加速批量导入数据。实验环境依赖于 Docker 容器中的 loop 设备模拟共享存储。通过对 `writer_direct.c` 文件的修改,替换了一些标准文件操作接口为 PFS 对应接口,实现了对 PolarDB 15 版本的支持。测试结果显示,使用 `pg_bulkload` 导入 1000 万条数据的速度是 COPY 命令的三倍多。此外,文章还提供了详细的步骤和代码示例,帮助读者理解和实践这一过程。
38 0
|
21天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课16 接入PostGIS全功能及应用举例
本文介绍了如何在PolarDB数据库中接入PostGIS插件全功能,实现地理空间数据处理。此外,文章还提供了使用PostGIS生成泰森多边形(Voronoi diagram)的具体示例,帮助用户理解其应用场景及操作方法。
39 0
|
21天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课10 计算节点全毁, 灾难恢复
本文介绍了在PolarDB RAC一写多读集群中,当所有计算节点(主机)故障仅剩共享存储时的修复方法。实验基于Docker容器和loop设备模拟共享存储环境。通过重建计算节点、恢复PolarDB实例及配置相关参数,最终成功恢复RW和RO节点的功能,确保数据完整性和集群正常运行。视频回放可在B站和YouTube上查看。
30 0

相关产品

  • 云原生数据库 PolarDB