「在 Kubernetes 上运行 Pgpool-Il」实现 PostgreSQL 查询(读)负载均衡和连接池

本文涉及的产品
网络型负载均衡 NLB,每月750个小时 15LCU
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
传统型负载均衡 CLB,每月750个小时 15LCU
简介: 「在 Kubernetes 上运行 Pgpool-Il」实现 PostgreSQL 查询(读)负载均衡和连接池

介绍



因为 PostgreSQL 是一个有状态的应用程序,并且管理 PostgreSQL 有非常具体的要求(例如备份、恢复、自动故障转移等),Kubernetes 的内置功能无法处理这些任务。因此,需要一个扩展 Kubernetes 功能以创建和管理 PostgreSQLOperator


PostgreSQL operator 有好几种,比如 Crunchy PostgreSQL Operator、Zalando PostgreSQL Operator 和 KubeDB。但是,这些 operator 不提供查询负载均衡功能。

  • Crunchy PostgreSQL Operator
  • Zalando PostgreSQL Operator
  • KubeDB

结合 PostgreSQL OperatorPgpool-IIKubernetes 上部署具有查询负载均衡和连接池能力的 PostgreSQL 集群。Pgpool-II 可以与上面提到的任何 PostgreSQL Operator 结合使用。


架构



image.png


前提条件



在开始配置过程之前,请检查以下前提条件。

  • 确保你有一个 Kubernetes 集群,并且安装了 kubectl
  • PostgreSQL OperatorPostgreSQL cluster 已安装。


部署 Pgpool-II



Kubernetes 不需要 Pgpool-II 的健康检查、自动故障转移、watchdog 和在线恢复功能。您只需要启用负载平衡和连接池。

Pgpool-II pod 应该使用以下最低配置:


backend_hostname0 = '<primary service name>'
backend_hostname1 = '<replica service name>'
backend_port0 = '5432'
backend_port1 = '5432'
backend_flag0 = 'ALWAYS_PRIMARY|DISALLOW_TO_FAILOVER'
backend_flag1 = 'DISALLOW_TO_FAILOVER'
failover_on_backend_error = off
sr_check_period = 10                         (when using streaming replication check)
sr_check_user='username of PostgreSQL user'  (when using streaming replication check)
load_balance_mode = on
connection_cache = on
listen_addresses = '*'


有两种配置 Pgpool-II 的方法。

  1. 使用环境变量
  1. 使用 ConfigMap


您可能需要在生产环境中配置客户端身份验证和更多参数。在生产环境中,我们建议使用 ConfigMap 来配置 pgpool.confpool_hba.conf


使用环境变量配置 Pgpool-II


Kubernetes 环境变量可以传递给 pod 中的容器。您可以在部署清单中定义环境变量来配置 Pgpool-II 的参数。pgpool-deploy-minimal.yaml 是一个示例清单,包括环境变量的最小设置。您可以下载 pgpool-deploy-minimal.yaml 并修改此清单中的环境变量。


$ curl -LO https://raw.githubusercontent.com/pgpool/pgpool2_on_k8s/master/pgpool-deploy-minimal.yaml


PGPOOL_PARAMS_ 开头的环境变量可以转换为 Pgpool-II 的配置参数,这些值可以覆盖默认设置。


Kubernetes 上,您只需要指定两个后端节点。根据您的 PostgreSQL 集群信息更新 pgpool-deploy-minimal.yaml。将主服务名称指定为 backend_hostname0。将副本服务名称指定为 backend_hostname1。因为故障转移由 Kubernetes 管理,所以将 DISALLOW_TO_FAILOVER 标志指定给两个节点的 backend_flag,并将 ALWAYS_PRIMARY 标志指定给 backend_flag0。 backend_data_directory 的设置不是必需的。


  • backend_hostname
  • backend_flag
  • backend_data_directory


例如,清单中定义的以下环境变量,


env:
- name: PGPOOL_PARAMS_BACKEND_HOSTNAME0
  value: "mypostgres"
- name: PGPOOL_PARAMS_BACKEND_HOSTNAME1
  value: "mypostgres-replica"
- name: PGPOOL_PARAMS_BACKEND_FLAG0
  value: "ALWAYS_PRIMARY|DISALLOW_TO_FAILOVER"
- name: PGPOOL_PARAMS_BACKEND_FLAG1
  value: "DISALLOW_TO_FAILOVER"


将在 pgpool.conf 中转换为以下配置参数。


backend_hostname0 = 'mypostgres'
backend_hostname1 = 'mypostgres-replica'
backend_flag0 = 'ALWAYS_PRIMARY|DISALLOW_TO_FAILOVER'
backend_flag1 = 'DISALLOW_TO_FAILOVER'


然后,您需要定义包含 PostgreSQL 用户的用户名和密码的环境变量,用于客户端身份验证。


配置清单后,运行以下命令部署 Pgpool-II


kubectl apply -f pgpool-deploy-minimal.yaml


使用 ConfigMap 配置 Pgpool-II


或者,您可以使用 Kubernetes ConfigMap 来存储整个 pgpool.confpool_hba.confConfigMap 可以作为卷挂载到 Pgpool-II 的容器中。


您可以从以下存储库下载定义 ConfigMapDeployment 的示例清单文件。

  • pgpool2_on_k8s


curl -LO https://raw.githubusercontent.com/pgpool/pgpool2_on_k8s/master/pgpool-configmap.yaml
curl -LO https://raw.githubusercontent.com/pgpool/pgpool2_on_k8s/master/pgpool-deploy.yaml


定义 ConfigMap 的清单采用以下格式。您可以根据您的配置偏好对其进行更新。要使用 pool_hba.conf 进行客户端身份验证,您需要打开 enable_pool_hba。默认为关闭。


  • enable_pool_hba


apiVersion: v1
kind: ConfigMap
metadata:
  name: pgpool-config
  labels:
    name: pgpool-config
data:
  pgpool.conf: |-
    listen_addresses = '*'
    port = 9999
    socket_dir = '/var/run/pgpool'
    pcp_listen_addresses = '*'
    pcp_port = 9898
    pcp_socket_dir = '/var/run/pgpool'
    backend_hostname0 = 'postgres'
...
  pool_hba.conf: |-
    local   all         all                               trust
    host    all         all         127.0.0.1/32          trust
    host    all         all         ::1/128               trust
    hostssl all         all         0.0.0.0/0             md5


然后,您需要定义包含 PostgreSQL 用户的用户名和密码的环境变量,用于客户端身份验证。

运行以下命令创建 ConfigMap 并部署引用此 ConfigMapPgpool-II pod。


kubectl apply -f pgpool-configmap.yaml
kubectl apply -f pgpool-deploy.yaml


部署 Pgpool-II 后,您可以使用 kubectl get podkubectl get svc 命令查看 Pgpool-II pod 和服务。


Pgpool-II 配置



后端设置


Kubernetes 上,您只需要指定两个后端节点。指定主服务名称为 backend_hostname0,副本服务名称为 ackend_hostname1


backend_hostname0 = '<primary service name>'
backend_hostname1 = '<replica service name>'
backend_port0 = '5432'
backend_port1 = '5432'


自动故障转移


Pgpool-II 能够定期连接到已配置的 PostgreSQL 后端并检查 PostgreSQL 的状态。如果检测到错误,Pgpool-II 将触发故障转移。在 Kubernetes 上,Kubernetes 会监控 PostgreSQLPod,如果一个 Pod 宕机,Kubernetes 会重启一个新的 Pod。您需要禁用 Pgpool-II 的自动故障转移,因为 Kubernetes 不需要 Pgpool-II 的自动故障转移。


PostgreSQLnode 0 指定为主节点 (ALWAYS_PRIMARY),因为即使主节点或副本 pod 扩展、重新启动或发生故障转移,服务名称也不会更改。


backend_flag0 ='ALWAYS_PRIMARY|DISALLOW_TO_FAILOVER'
backend_flag1 ='DISALLOW_TO_FAILOVER'
failover_on_backend_error = off


将密码注册到 pool_passwd


Pgpool-II 使用包含 PostgreSQL 用户密码的 pool_passwd 文件执行身份验证。

  • pool_passwd


Pgpool-II pod 启动时,Pgpool-II 自动执行 pg_md5 命令,根据 <some string>_USERNAME<some string>_PASSWORD 格式定义的环境变量生成 pool_passwd

  • pg_md5

代表 PostgreSQL 用户的用户名和密码的环境变量必须按以下格式定义:


username: <some string>_USERNAME
password: <some string>_PASSWORD


使用 Secret 定义环境变量是保证用户凭据安全的推荐方法。在大多数 PostgreSQL Operators 中,创建 PostgreSQL 集群时会自动创建几个定义 PostgreSQL 用户凭据的 Secret。使用 kubectl get secret 命令检查现有的 Secret


例如,创建 mypostgres-postgres-secret 来存储 postgres 用户的用户名和密码。要引用这个 secret,您可以定义如下环境变量:


env:
- name: POSTGRES_USERNAME
  valueFrom:
     secretKeyRef:
       name: mypostgres-postgres-secret
       key: username
- name: POSTGRES_PASSWORD
  valueFrom:
     secretKeyRef:
       name: mypostgres-postgres-secret
       key: password


启动 Pgpool-II pod 时,会在 /opt/pgpool-II/etc 下自动生成 pool_passwdpcp.conf


$ kubectl exec <pgpool pod> -it -- cat /opt/pgpool-II/etc/pool_passwd
postgres:md53175bce1d3201d16594cebf9d7eb3f9d
$ kubectl exec <pgpool pod> -it -- cat /opt/pgpool-II/etc/pcp.conf
postgres:e8a48653851e28c69d0506508fb27fc5


流复制检查


Pgpool-II 能够定期连接到已配置的 PostgreSQL 后端并检查复制延迟。要使用此功能,需要 sr_check_usersr_check_password。如果 sr_check_password 留空,Pgpool-II 将尝试从 pool_passwd 获取 sr_check_user 的密码。


  • sr_check_user
  • sr_check_password

下面是一个使用 postgres 用户每隔 10 秒连接到 PostgreSQL 以执行流式复制检查的示例。因为 sr_check_password 留空,所以 Pgpool-II 会从 pool_passwd 中获取 postgres 用户的密码。


sr_check_period = 10
sr_check_user='postgres'


创建 secret 存储 sr_check_user 中指定的 PostgreSQL 用户的用户名和密码,并配置环境变量以引用创建的 Secret。在大多数 PostgreSQL Operators 中,创建 PostgreSQL 集群时会自动创建几个定义 PostgreSQL 用户凭据的 secret。使用 kubectl get secret 命令检查现有的 secret


例如,下面的环境变量引用了 Secret mypostgres-postgres-secret


env:
- name: POSTGRES_USERNAME
  valueFrom:
     secretKeyRef:
       name: mypostgres-postgres-secret
       key: username
- name: POSTGRES_PASSWORD
  valueFrom:
     secretKeyRef:
       name: mypostgres-postgres-secret
       key: password


但是,在 Kubernetes 上,Pgpool-II 连接到任何副本,而不是连接到所有副本。即使有多个副本,Pgpool-II 也将它们作为一个副本进行管理。因此,Pgpool-II 可能无法正确确定复制延迟。要禁用此功能,请配置以下参数:


sr_check_period = 0


SSL 设置


打开 ssl 以启用 SSL 连接。


ssl = on


ssl = on 时,在 Pgpool-II 启动时,会在 /opt/pgpool-II/certs/ 下自动生成私钥文件和证书文件。 ssl_keyssl_cert 会自动配置私钥文件和证书文件的路径。

此外,要仅允许 SSL 连接,请将以下记录添加到 pool_hba.conf 中。


hostssl    all         all         0.0.0.0/0             md5


带监控的 Pgpool-II


Pgpool-II ExporterPgpool-II 指标的 Prometheus 导出器。

  • Pgpool-II Exporter

示例清单 pgpool-deploy-metrics.yaml 用于在 Pgpool-IIPod 中部署 Pgpool-II 容器和 Pgpool-II Exporter 容器。


spec:
  containers:
  - name: pgpool
    image: pgpool/pgpool
  ...
  - name: pgpool-stats
    image: pgpool/pgpool2_exporter
  ...


下载示例清单 pgpool-deploy-metrics.yaml


$ curl -LO https://raw.githubusercontent.com/pgpool/pgpool2_on_k8s/master/pgpool-deploy-metrics.yaml


然后,配置 Pgpool-IIPgpool-II Exporter。以下是 Pgpool-II Exporter 容器中用于连接 Pgpool-II 的环境变量的设置。


env:
- name: POSTGRES_USERNAME
  valueFrom:
    secretKeyRef:
      name: mypostgres-postgres-secret
      key: username
- name: POSTGRES_PASSWORD
  valueFrom:
    secretKeyRef:
      name: mypostgres-postgres-secret
      key: password
- name: PGPOOL_SERVICE
  value: "localhost"
- name: PGPOOL_SERVICE_PORT
  value: "9999"


配置 Pgpool-IIPgpool-II Exporter 后,部署 Pgpool-II Pod


kubectl apply -f pgpool-configmap.yaml
kubectl apply -f pgpool-deploy-metrics.yaml


相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。 &nbsp; &nbsp; 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
消息中间件 存储 关系型数据库
PostgreSQL技术大讲堂 - 第33讲:并行查询管理
PostgreSQL从小白到专家,技术大讲堂 - 第33讲:并行查询管理
609 1
|
存储 关系型数据库 数据库
postgresql|数据库|提升查询性能的物化视图解析
postgresql|数据库|提升查询性能的物化视图解析
1345 0
|
3月前
|
SQL 存储 关系型数据库
PostgreSQL窗口函数避坑指南:如何让复杂分析查询提速300%?
本文基于真实企业级案例,深入剖析PostgreSQL窗口函数的执行原理与性能陷阱,提供8大优化策略。通过定制索引、分区裁剪、内存调优及并行处理等手段,将分钟级查询压缩至秒级响应。结合CTE分阶段计算与物化视图技术,解决海量数据分析中的瓶颈问题。某金融客户实践表明,风险分析查询从47秒降至0.8秒,效率提升5800%。文章附带代码均在PostgreSQL 15中验证,助您高效优化SQL性能。
192 0
|
7月前
|
SQL 关系型数据库 OLAP
云原生数据仓库AnalyticDB PostgreSQL同一个SQL可以实现向量索引、全文索引GIN、普通索引BTREE混合查询,简化业务实现逻辑、提升查询性能
本文档介绍了如何在AnalyticDB for PostgreSQL中创建表、向量索引及混合检索的实现步骤。主要内容包括:创建`articles`表并设置向量存储格式,创建ANN向量索引,为表增加`username`和`time`列,建立BTREE索引和GIN全文检索索引,并展示了查询结果。参考文档提供了详细的SQL语句和配置说明。
185 2
|
Kubernetes 负载均衡 应用服务中间件
深入理解 Kubernetes Ingress:路由流量、负载均衡和安全性配置
深入理解 Kubernetes Ingress:路由流量、负载均衡和安全性配置
2135 1
|
10月前
|
SQL 关系型数据库 数据库
PostgreSQL性能飙升的秘密:这几个调优技巧让你的数据库查询速度翻倍!
【10月更文挑战第25天】本文介绍了几种有效提升 PostgreSQL 数据库查询效率的方法,包括索引优化、查询优化、配置优化和硬件优化。通过合理设计索引、编写高效 SQL 查询、调整配置参数和选择合适硬件,可以显著提高数据库性能。
1797 2
|
缓存 关系型数据库 数据库
PostgreSQL 查询性能
【8月更文挑战第5天】PostgreSQL 查询性能
225 8
|
SQL 关系型数据库 数据库
Python执行PostgreSQL数据库查询语句,并打印查询结果
本文介绍了如何使用Python连接和查询PostgreSQL数据库。首先,确保安装了`psycopg2`库,然后创建数据库连接函数。接着,展示如何编写SQL查询并执行,例如从`employees`表中选取所有记录。此外,还讨论了处理查询结果、格式化输出和异常处理的方法。最后,提到了参数化查询和事务处理以增强安全性及确保数据一致性。
Python执行PostgreSQL数据库查询语句,并打印查询结果
|
Java 关系型数据库 API
使用Spring Boot和PostgreSQL构建高级查询
使用Spring Boot和PostgreSQL构建高级查询
|
SQL 关系型数据库 数据库
Python查询PostgreSQL数据库
木头左教你如何用Python连接PostgreSQL数据库:安装`psycopg2`库,建立连接,执行SQL脚本如创建表、插入数据,同时掌握错误处理和事务管理。别忘了性能优化,利用索引、批量操作提升效率。下期更精彩!💡 csvfile
Python查询PostgreSQL数据库

热门文章

最新文章