再不了解PostgreSQL,你就晚了之PostgreSQL主从流复制部署

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云原生数据库 PolarDB PostgreSQL 版,企业版 4核16GB
推荐场景:
HTAP混合负载
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
简介: 再不了解PostgreSQL,你就晚了之PostgreSQL主从流复制部署前言在MySQL被收购之后,虽然有其替代品为: MariaDB,但是总感觉心里有点膈应。大家发现了另一款开源的数据库: PostgreSQL。

再不了解PostgreSQL,你就晚了之PostgreSQL主从流复制部署
前言
在MySQL被收购之后,虽然有其替代品为: MariaDB,但是总感觉心里有点膈应。大家发现了另一款开源的数据库: PostgreSQL。

虽然centos自带版本9.2也可以用,但是最近的几次升级支持了更多更新的内容,比如,PostgreSQL有一个MySQL无法比拟的优势,那就是PostGIS,PostGIS可以完美支持空间数据存储和空间分析;从PostgreSQL9.3起就内置了JSON数据类型,而9.4又开始支持JSONB,这标志着PostgreSQL实际上已经是一个关系型数据库和NoSQL数据库的结合体了。

虽然postgresql是一个关系型数据库,但是近几次更新PostgreSQL的NoSQL性能有益到甚至超过了MongoDB。我们可以从下图数据库Rank榜上观察到PostgreSQL排在第四位,和MongoDB的位置不相上下。可见PostgreSQL在开发人员的喜爱度上,可信赖度上和社区文档的查询上都是不错的。

Centos7 安装最新版postgresql10

更新源
云服务器系统: CentOS 7.2 x86_64架构

地址: https://www.postgresql.org/download/linux/redhat/

这里我选择PostgreSQL10,CentOS 7平台, x86_64架构,就会出现相应的yum源了。

在centos系统中执行以下命令:

yum install https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-centos10-10-2.noarch.rpm

安装PostgreSQL
先查看PostgreSQL源

我们需要安装的是这三个个。postgresql10-devel.x86_64, postgresql10-contrib.x86_64,postgresql10-server.x86_64

yum install postgresql10-client postgresql10-server postgresql10-contrib postgresql10-devel

初始化数据库
PostgreSQL安装目录是/usr/pgsql-10,而PostgreSQL的数据目录是/var/lib/pgsql/版本号(这里为10)

在这里,如果在装系统开始分配var空间足够大则可以继续,如果分配var空间不够,我们需要更改数据目录,在这里,我们假设var空间足够大。直接开始初始化。

/usr/pgsql-10/bin/postgresql-10-setup initdb

显示这个代表初始化成功

启功数据库并设置开机启动
sudo systemctl start postgresql-10
sudo systemctl enable postgresql-10.service

登录PostgreSQL并设置密码
postgresql在安装时默认添加用户postgres

输入

su - postgres
psql
进入数据库

命令界面长这样

我们来设置密码:

退出: q

列出所有库 l

列出所有用户 du

列出库下所有表 d

支持密码和远程登陆
修改密码验证
默认情况下postgresql是不用密码不支持远程登录的。我们需要修改配置文件

vi /var/lib/pgsql/10/data/pg_hba.conf
原本长成这样

我们需要改成

保存退出

关于退出vim的问题,这里还有一个小趣闻:

StackOverflow骄傲的宣布: 已经帮助187万不知如何从VIM退出的程序员

在这里我引用上面的高赞回答,帮助大家脱离这个187万群体。

修改远程访问
vi /var/lib/pgsql/10/data/postgresql.conf
往下拉我们会看到

需要改成

在vim中搜索想要查找的文字,可以用 /*, n 表示下翻页,N表示上翻页

重启postgresql

systemctl restart postgresql-10

登录postgresql
postgresql在安装时默认添加用户postgres

输入

su - postgres
psql
进入数据库

此时已经可以进行验证密码

远程连接数据库

我们使用Navicat Premium 12来验证连接

此时我们可以看到相关数据了

PostgreSQL主从流复制部署
简介
postgres在9.0之后引入了主从的流复制机制,所谓流复制,就是从服务器通过tcp流从主服务器中同步相应的数据。这样当主服务器数据丢失时从服务器中仍有备份。

与基于文件日志传送相比,流复制允许保持从服务器更新。 从服务器连接主服务器,其产生的流WAL记录到从服务器, 而不需要等待主服务器写完WAL文件。

PostgreSQL流复制默认是异步的。在主服务器上提交事务和从服务器上变化可见之间有一个小的延迟,这个延迟远小于基于文件日志传送,通常1秒能完成。如果主服务器突然崩溃,可能会有少量数据丢失。

同步复制必须等主服务器和从服务器都写完WAL后才能提交事务。这样在一定程度上会增加事务的响应时间。

配置同步复制仅需要一个额外的配置步骤: synchronous_standby_names必须设置为一个非空值。synchronous_commit也必须设置为on。

这里部署的是异步的流复制。

主从服务器所在节点的系统、环境等最好一致。PostgreSQL版本也最好一致,否则可能会有问题。

安装部署
先假定在192.168.20.93和192.168.20.94均安装PostgreSQL,具体情况按照实际IP地址。

具体安装部署步骤见:上述步骤

2.1 主服务器
主服务器为192.168.20.93

1.首先需要创建一个数据库用户进行主从同步。创建用户replica,并赋予登录和复制的权限。

postgres# CREATE ROLE replica login replication encrypted password 'replica';
2.修改pg_hba.conf,允许replica用户来同步。

在pg_hba.conf里增加两行:

host all all 192.168.20.94/32 trust #允许94连接到主服务器
host replication replica 192.168.20.94/32 md5 #允许94使用replica用户来复制
这样,就设置了replica这个用户可以从192.168.20.93进行流复制请求。

注: 第二个字段必须要填replication

4.修改postgresql.conf

listen_addresses = '*' # 监听所有IP
archive_mode = on # 允许归档
archive_command = 'cp %p /opt/pgsql/pg_archive/%f' # 用该命令来归档logfile segment
wal_level = hot_standby
max_wal_senders = 32 # 这个设置了可以最多有几个流复制连接,差不多有几个从,就设置几个wal_keep_segments = 256 # 设置流复制保留的最多的xlog数目
wal_sender_timeout = 60s # 设置流复制主机发送数据的超时时间
max_connections = 100 # 这个设置要注意下,从库的max_connections必须要大于主库的
配置完两个文件后重启服务器。

systemctl restart postgresql-10
3.测试94能否连接93数据库。在94上运行如下命令:

psql -h 192.168.20.93 -U postgres
看看是否能进入数据库。若可以,则正常。

2.2 从服务器
1.从主节点拷贝数据到从节点

su - postgres
rm -rf /var/lib/pgsql/10/data/* #先将data目录下的数据都清空
pg_basebackup -h 192.168.20.93 -U replica -X stream -P # 从93拷贝数据到94(基础备份)
2.配置recovery.conf

复制/usr/pgsql-9.4/share/recovery.conf.sample 到 /opt/pgsql/data/recovery.conf

cp /usr/pgsql-10/share/recovery.conf.sample /usr/pgsql-10/share/recovery.conf
修改recovery.conf

standby_mode = on # 说明该节点是从服务器
primary_conninfo = 'host=192.168.20.93 port=5432 user=replica password=replica' # 主服务器的信息以及连接的用户
recovery_target_timeline = 'latest'
3.配置postgresql.conf

wal_level = hot_standby
max_connections = 1000 # 一般查多于写的应用从库的最大连接数要比较大
hot_standby = on # 说明这台机器不仅仅是用于数据归档,也用于数据查询
max_standby_streaming_delay = 30s # 数据流备份的最大延迟时间
wal_receiver_status_interval = 10s # 多久向主报告一次从的状态,当然从每次数据复制都会向主报告状态,这里只是设置最长的间隔时间
hot_standby_feedback = on # 如果有错误的数据复制,是否向主进行反馈
配置完后重启从服务器

systemctl restart postgresql-10

  1. 验证是否部署成功
    在主节点上执行:

select client_addr,sync_state from pg_stat_replication;
结果如下:

postgres=# select client_addr,sync_state from pg_stat_replication;

client_addr sync_state
192.168.20.94 async

(1 行记录)
说明94是从服务器,在接收流,而且是异步流复制。

此外,还可以分别在主、从节点上运行 ps aux | grep postgres 来查看进程:

主服务器(93)上:

postgres 262270 0.0 0.0 337844 2832 ? Ss 10:14 0:00 postgres: wal sender process replica 192.168.20.94(13059) streaming 0/A002A88
可以看到有一个 wal sender 进程。

从服务器(94)上:

postgres 569868 0.0 0.0 384604 2960 ? Ss 10:14 0:02 postgres: wal receiver process streaming 0/A002B60
可以看到有一个 wal receiver 进程。

至此,PostgreSQL主从流复制安装部署完成。

在主服务器上插入数据或删除数据,在从服务器上能看到相应的变化。从服务器上只能查询,不能插入或删除。

版权声明: 作者:穆书伟

github出处:https://github.com/sanshengshui    

个人博客出处:https://www.mushuwei.cn/

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
1天前
|
存储 关系型数据库 分布式数据库
开发者评测指南针对PolarDB开源版本的部署安装
开发者评测指南针对PolarDB开源版本的部署安装
|
6天前
|
存储 Ubuntu 关系型数据库
PolarDB-X部署测评
7月更文挑战第1天
|
26天前
|
弹性计算 关系型数据库 分布式数据库
PolarDB 开源部署体验评测
PolarDB开源部署方式全解读,带你全方位了解PolarDB部署的那些事。
25575 10
|
2月前
|
关系型数据库 MySQL 数据库
测试部署PolarDB-X 分布式与集中式
在本文中,作者详述了在CentOS 7.9上部署测试PolarDB-X分布式与集中式数据库的过程。PolarDB-X作为阿里云优化的分布式数据库,提供高稳定性和与MySQL的兼容性,是应对单体数据库扩展性和性能瓶颈的解决方案,同时也符合国产化需求。文章介绍了部署环境准备,包括关闭防火墙和SELinux,设置系统参数,安装Python3和Docker,以及配置MySQL客户端。接着,通过PXD工具部署了PolarDB-X的集中式和分布式版,遇到的问题包括阿里云镜像源异常导致的部署失败以及指定版本安装的困扰。最后,作者进行了初步的压力测试,并对文档完善、生态工具建设以及提供更多使用案例提出了建议。
47782 10
测试部署PolarDB-X 分布式与集中式
|
1月前
|
SQL 关系型数据库 Serverless
PolarDB产品使用合集之集群配置主从1~16pcu,比如innodb_buffer_pool_size,另外线上innodb_buffer_pool_size配置里面是在变动的,该怎么配置
PolarDB是阿里云推出的一种云原生数据库服务,专为云设计,提供兼容MySQL、PostgreSQL的高性能、低成本、弹性可扩展的数据库解决方案,可以有效地管理和优化PolarDB实例,确保数据库服务的稳定、高效运行。以下是使用PolarDB产品的一些建议和最佳实践合集。
103 7
|
2月前
|
存储 关系型数据库 MySQL
数据管理的艺术:PolarDB开源版详评与实战部署策略(一)
PolarDB-X是阿里巴巴自研的高性能云原生分布式数据库,基于共享存储的Shared-nothing架构,支持MySQL生态,具备金融级高可用、分布式水平扩展、HTAP混合负载等能力。它通过CN(计算节点)和DN(存储节点)实现计算与存储分离,保证数据强一致性,并支持全局二级索引和多主多写。PolarDB-X开源版提供更高程度的定制化和控制权,适合追求技术自主性和成本优化的开发者。部署方式包括RPM包、PXD工具和Kubernetes,其中PXD工具提供了一键部署的便利性。
233963 22
|
1月前
|
Ubuntu 关系型数据库 分布式数据库
开源PolarDB -X 部署安装
本文记录了在Ubuntu 20.04上部署阿里云分布式数据库PolarDB-X的步骤,包括环境准备、安装依赖、下载源码、编译安装、配置启动,并分享了遇到的配置错误、依赖冲突和日志不清等问题。作者建议官方改进文档细节、优化代码质量和建立开发者社区。安装历史记录显示了相关命令行操作。尽管过程有挑战,但作者期待产品体验的提升。
317 6
|
2月前
|
存储 关系型数据库 分布式数据库
数据管理的艺术:PolarDB开源版详评与实战部署策略(二)
PolarDB-PG是阿里云的一款云原生关系型数据库,100%兼容PostgreSQL,支持Oracle语法,采用Shared-Storage存储计算分离架构,提供极致弹性、毫秒级延迟的HTAP能力。具备高可用、高可靠和弹性扩展特性,支持单机、存储计算分离和X-Paxos三节点等多种部署形态。通过Docker可快速部署实例,包括单节点、一主一备和HTAP(一主两备)实例。此外,文章还介绍了在ECS上使用ESSD云盘搭建PolarDB-PG的详细步骤,适合开发和测试环境。
222847 22
|
18天前
|
关系型数据库 OLAP 分布式数据库
PolarDB产品使用问题之是否可以部署到linux中
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
18天前
|
存储 关系型数据库 分布式数据库
PolarDB产品使用问题之如何在本地进行部署
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。