PostgreSQL集群篇——1、PG环境安装(一)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: PostgreSQL,PG,集群,DBA,架构师,PG安装,编译安装

PostgreSQL集群篇——1、PG环境安装准备

标签

PostgreSQL,PG,集群,DBA,架构师,PG安装,编译安装

背景

PostgreSQL官方文档中讲到了多种高可用、负载均衡和复制特性解决方案,如下图所示:

特性 共享磁盘故障转移 文件系统复制 预写式日志传送 逻辑复制 基于触发器的主-备复制 基于语句的复制中间件 异步多主控机复制 同步多主控机复制
最通用的实现 NAS DRBD 内建流复制 内建逻辑复制,pglogical Londiste,Slony pgpool-II Bucardo
通信方法 共享磁盘 磁盘块 WAL 逻辑解码 表行 SQL 表行 表行和行锁
不要求特殊硬件
允许多个主控机服务器
无主服务器负载
不等待多个服务器 with sync off with sync off
主控机失效将永不丢失数据 with sync on with sync on
复制体接受只读查询 with hot
每个表粒度
不需要冲突解决

我们在集群环境中使用这些技术,首先需要考虑的是我们目前面临的是什么问题,例如我现在面临的就是高并发问题如何来解决,按照上述图表中我选择了流复制解决方案。

在流复制解决方案中分为同步、异步两种,异步流复制通常采用的是基于wal日志来传送的方式进行,从节点通常比主节点要少一个wal日志块的数据,这给我们并发查询造成了影响,因此这里我们需要采用同步流复制解决方案,其采用的是数据流的方式,就像小溪一样,水一直流淌着,多条分支最终汇总到一处,同时接收处也在一直存储着。

流复制是从2010年推出pg9.0版本以后开始的,其版本到目前经历的阶段如下:

版本 方式 描述
PostgreSQL9.0 流式物理复制 开始支持流式物理复制,用户可以通过流式复制构建只读备库
PostgreSQL9.1 同步流复制 开始支持同步复制,只支持一个同步流复制节点,同步流复制能保证数据的0丢失
PostgreSQL9.2 级联流复制 开始支持联流复制,备库下面还可以再连接备库,形成级联架构
PostgreSQL9.2 流式虚拟备库 开始支持虚拟备库,即备库中没有数据文件,只包含wal文件。
PostgreSQL9.4 逻辑复制 开始支持逻辑复制,逻辑复制可以应对部分表复制的功能。
PostgreSQL9.6 同步流复制改版 同步流复制允许多个备用服务器以提高可靠性。
PostgreSQL10 使用发布/订阅进行逻辑复制
PostgreSQL11-13 持续优化

本次我们将采用PostgreSQL13.1版本进行搭建同步流复制环境,数据库安装我们采用了编译安装,如不清楚怎样安装,请查看之前的文章《PostgreSQL集群篇——1、PG环境安装准备》

环境

PostgreSQL集群篇整体采用3台虚拟机进行搭建,相关情况如下:

服务器IP CPU 内存 存储 作用
10.28.1.181 4核 8G 200G 主master节点,
10.28.1.182 4核 8G 200G 从slave节点,
10.28.1.210 4核 8G 200G VIP节点,虚拟IP

产品简介

内容:

安装脚本:

1、设置服务器使用的时区并校准时间

 sudo tzselect
 #输入 4 9 1 1
 sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
 sudo apt-get update
 sudo apt-get install ntpdate -y
 sudo ntpdate us.pool.ntp.org

2、安装必要的编译环境

 sudo apt-get install gcc make libreadline-dev zlib1g-dev -y

3、创建好准备安装的目录并创建pg基础用户,并将pg基础目录授权给该用户

sudo mkdir /pg
 # 授权pg用户目录操作权限,这里在安装完成后权限应是postgres用户
 sudo groupadd postgres
 sudo useradd -g postgres postgres -s "/bin/bash" -m
 sudo passwd postgres
 sudo chown -R postgres:postgres /pg

这里我们创建用户的同时对其进行设置了密码,设置一个密码,安全性上更有保障,同时默认密码随机,如果一直使用sudo su则会缺少环境变量,后续会带来不必要的麻烦。同时后续我们切换用户会使用su 直接切换不会增加sudo。

4、从官网下载PostgreSQL最新稳定版本,这里使用编译安装进行可控式安装

源码下载

 su postgres
 mkdir /pg/install
 cd /pg/install
 wget https://ftp.postgresql.org/pub/source/v13.1/postgresql-13.1.tar.gz

5、开始进行编译

 tar -zxf postgresql-13.1.tar.gz
 cd postgresql-13.1/
 ./configure --prefix=/pg
 # 编译主程序
 make
 # 编译文档与contrib
 make world
 # 安装主程序
 make install
 # 安装全部
 make install-world
 # 安装完成后清除源码中编译生成的文件,将其还原为发布时的源码包。便于后续时间需要使用时再次编译
 make distclean
  • make 编译主程序
  • make world 在编译主程序的同时将其文档与contrib共享库包全部编译
  • make install 安装主程序
  • make install-world 安装文档与contrib共享库,当我们把所有共享库都安装上并不代表数据库已经可用这些,而是需要我们在库中根据需要进行create extension启用插件。因此这里我们直接将原带的插件,对其性能不会

6、设置环境变量

 sudo vim /etc/profile
 #在文件最底部增加
 export PGHOME=/pg
 export LD_LIBRARY_PATH=$PGHOME/lib:$LD_LIBRARY_PATH
 export PATH=$PGHOME/bin:$PATH  # 主程序目录
 export PGDATA=$PGHOME/data      # 数据存储目录
 export MANPATH=$PGHOME/share/man:$MANPATH  # 共享包库
 export LANG=en_US.utf8
 ## wq 保存
 sudo reboot

这里我们在设置完成系统环境变量后直接进行了重启,而没有使用当前会话生效命令( source /etc/profile)是因其下面我们要多次切换用户,这时需要每次都执行一次过于麻烦。索性直接重启一次,所有会话下直接生效。

7、开始进行初始化数据库w

su postgres
 pg_ctl initdb

备注:这里我们进入postgres用户后直接使用了pg_ctl命令,是因为上面设置了系统环境变量PATH,其次我们切换用户时使用的是su,如果使用sudo su 进入用户会导致系统环境变量丢失,如果想使用该命令需要再去单独设置root用户的环境变量。


执行到这里后我们可以使用pg_ctl start 与pg_ctl stop 进行测试数据库是否正常启动停止,下面我们将开始对其服务器自启动进行设置,增加到日常linux服务管理中。


8、创建日志库,并添加系统启动项

 cd /pg
 mkdir logfiles

9、进行编写服务器启动服务

exit    # 退出当前的postgres用户
sudo vim /etc/systemd/system/postgresql.service

文件内容如下:

 [Unit]
 Description=PostgreSQL database server
 Documentation=man:postgres(1)
 After=network.target
 
 [Service]
 Type=forking
 User=postgres
 Group=postgres
 Environment=PGSTARTTIMEOUT=300
 Environment=PGDATA=/pg/data
 ExecStart=/pg/bin/pg_ctl start -D ${PGDATA} -s -w -t ${PGSTARTTIMEOUT} -l /pg/logfiles/pg_service_log
 ExecStop=/pg/bin/pg/pg_ctl stop -D ${PGDATA} -s -m -l /pg/logfiles/pg_service_log
 ExecRestart=/pg/bin/pg_ctl restart -D ${PGDATA} -s -l /pg/logfiles/pg_service_log
 ExecReload=/pg/bin/pg_ctl reload -D ${PGDATA} -s -l /pg/logfiles/pg_service_log
 KillMode=mixed
 KillSignal=SIGINT
 TimeoutSec=360
 
 [Install]
 WantedBy=multi-user.target
:wq  #保存文件
 sudo systemctl daemon-reload

10、测试使用postgresql服务进行启动数据库

systemctl start postgresql
 systemctl restart postgresql
 systemctl stop postgresql
 systemctl restart postgresql
ps -aux|grep postgres
 su postgres
 tail -1000f /pg/logfiles/pg_service_log  # 查看服务启停日志

至此集群环境下我们需要使用的基础pg环境已准备就绪,下一篇我们将开始对其这两台进行搭建流复制集群设置。

本文声明

5330898-d1c72b6c90e378f3.png

知识共享许可协议 本作品由 cn華少 采用 知识共享署名-非商业性使用 4.0 国际许可协议 进行许可。

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
1月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
48 3
|
1月前
|
消息中间件 分布式计算 关系型数据库
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
44 0
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
84 0
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
37 0
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
46 0
|
1月前
|
SQL 关系型数据库 MySQL
mysql集群方案
mysql集群方案
39 0
|
3月前
|
负载均衡 算法 关系型数据库
MySQL集群如何实现负载均衡?
【8月更文挑战第16天】MySQL集群如何实现负载均衡?
184 6
|
3月前
|
存储 负载均衡 关系型数据库
MySQL集群
【8月更文挑战第16天】MySQL集群
47 5
|
3月前
|
SQL 负载均衡 关系型数据库
*配置MySQL集群
【8月更文挑战第16天】*配置MySQL集群
58 2
|
3月前
|
SQL 关系型数据库 MySQL
Nacos 1.2.1 集群搭建(二)MySQL、cluster 配置
Nacos 1.2.1 集群搭建(二)MySQL、cluster 配置
94 1