本文讲的是如何在Kubernetes中部署一个高可用的PostgreSQL集群环境【编者的话】本文主要介绍了如何在Kubernetes环境中用Stolon去部署高可用的PostgreSQL,本文从Stolon的结构组成开始,由浅入深介绍原理,从开始安装到最后对其进行failover测试,深入浅出,为以后部署高可用的PostgreSQL提供了一种的解决方案。
创建一个高可用的PostgreSQL集群环境总是一件棘手的事情。在云环境里部署时更是非常困难。我至少找到了3个项目,它们可以在Kubernetes里提供高可用的PostgreSQL解决方案。
Patroni
Patroni是一个模板,它使用Python为你提供一个自己订制的,高可用的解决方案,为最大程度的可用性,它的配置信息存储在像ZooKeeper, etcd或者Consul中。如果DBAs,DevOps工程师或者SRE正在寻找一个在数据中心中快速部署高可用PostgreSQL方案,或者其他的用途,我希望Patroni能够帮到他们。
Crunchy
Crunchy容器套件提供一个了Docker容器,它能快速部署PostgreSQL,同时也提供管理和监控的工具。并且支持多种用风格的部署PostgreSQL集群。
Stolon
Stolon是一个cloud native的PostgreSQL高可用管理工具。它之所以是cloud native的是因为它可以在为容器内部的PostgreSQL提供高可用(Kubernetes 集成),而且还支持其他种类的基础设施(比如:cloud IaaS,旧风格的基础设施等)
漂亮的图表 加上一些在kubernets.io上的用户分享 1 2 说服我去试一下crunchy容器。但是过了一段时间,我改变了想法。
我不想说他设计上的某些缺点或者是其他的什么不好。但是它给我的感觉就好像是我自己在容器里手动安装PostgreSQL一样,并没有云的感觉。
所以我尝试了一下stolon。在一次又一次的安装和卸载之后,我运行了它的statefulset的 例子 并且用 helm chart 创建。
如果你想知道更多关于stolon可以参考作者 这篇介绍 。
下面我将展示一下安装过程并且演示一下集群环境下的failover。我们假设安装用的是helm chart。
Stolon 是由3个部分组成的:
Stolon 用etcd或者Consul作为主要的集群状态存储。
安装的过程将会做如下的动作:
首先,会用statefulset创建3个etcd节点。Stolon-proxy和stolon-sentinel也会被部署。Singe time job将集群的安装暂停直到etcd节点状态变成availabe。
chart还会创建两个服务:
当所有的组件状态变为RUNNING时,我们可以试着连接它们。
我们可以用NodePort这种简单的连接方式部署service。用两个终端分别去连接master service和slave service。在post的过程中,我们假设stolon-proxy服务(RW)已经暴露了30543端口,stolon-keeper服务(RO)已经暴露了30544端口。
连接master并且建立test表
连接slave并且检查数据。你可以写一些信息以便确认请求已经被slave处理了。
在测试通过后,我们去试试failover功能。
然后,在sentinel的log中我们可以看到新的master被选举出来了。
现在,在刚才的那两个终端中如果我们重复上一个命令,我们可以看到如下输出。
Kubernetes的service把不可用的pod去掉,把请求转到可用的pod上。所以新的读取连接被路由到了健康的pod上。
最后,我们需要重新创建statefulset。最简单的方法就是更新部署了的helm chart。
这条命令会运行chaoskube,它会每5分钟删除一个pod。它会选择label中
在做了几个小时的测试之后,我的集群环境仍然是一致并且工作的很稳定。
如果你对它感兴趣-可以查看我的 官方repository 或者和我的 chart 。
创建一个高可用的PostgreSQL集群环境总是一件棘手的事情。在云环境里部署时更是非常困难。我至少找到了3个项目,它们可以在Kubernetes里提供高可用的PostgreSQL解决方案。
Patroni
Patroni是一个模板,它使用Python为你提供一个自己订制的,高可用的解决方案,为最大程度的可用性,它的配置信息存储在像ZooKeeper, etcd或者Consul中。如果DBAs,DevOps工程师或者SRE正在寻找一个在数据中心中快速部署高可用PostgreSQL方案,或者其他的用途,我希望Patroni能够帮到他们。
Crunchy
Crunchy容器套件提供一个了Docker容器,它能快速部署PostgreSQL,同时也提供管理和监控的工具。并且支持多种用风格的部署PostgreSQL集群。
Stolon
Stolon是一个cloud native的PostgreSQL高可用管理工具。它之所以是cloud native的是因为它可以在为容器内部的PostgreSQL提供高可用(Kubernetes 集成),而且还支持其他种类的基础设施(比如:cloud IaaS,旧风格的基础设施等)
漂亮的图表 加上一些在kubernets.io上的用户分享 1 2 说服我去试一下crunchy容器。但是过了一段时间,我改变了想法。
我不想说他设计上的某些缺点或者是其他的什么不好。但是它给我的感觉就好像是我自己在容器里手动安装PostgreSQL一样,并没有云的感觉。
所以我尝试了一下stolon。在一次又一次的安装和卸载之后,我运行了它的statefulset的 例子 并且用 helm chart 创建。
如果你想知道更多关于stolon可以参考作者 这篇介绍 。
下面我将展示一下安装过程并且演示一下集群环境下的failover。我们假设安装用的是helm chart。
Stolon 架构图
摘抄自 Stolon的介绍 。Stolon 是由3个部分组成的:
- keeper:他负责管理PostgreSQL的实例汇聚到由sentinel(s)提供的clusterview。
- sentinel:it负责发现并且监控keeper,并且计算最理想的clusterview。
- proxy:客户端的接入点。它强制连接到右边PostgreSQL的master并且强制关闭连接到由非选举产生的master。
Stolon 用etcd或者Consul作为主要的集群状态存储。
Installation
安装的过程将会做如下的动作:
首先,会用statefulset创建3个etcd节点。Stolon-proxy和stolon-sentinel也会被部署。Singe time job将集群的安装暂停直到etcd节点状态变成availabe。
chart还会创建两个服务:
- stolon-proxy——服务来源于官方的例子。他总是指向当前的因该被写入的master。
- stolon-keeper——Stolon自己本身不提供任何读取操作的负载均衡。但是Kubernetes的service却可以做到这点。所以对于用户来说,stolon-keeper的读操作是在pod的层面做到负载均衡的。
当所有的组件状态变为RUNNING时,我们可以试着连接它们。
我们可以用NodePort这种简单的连接方式部署service。用两个终端分别去连接master service和slave service。在post的过程中,我们假设stolon-proxy服务(RW)已经暴露了30543端口,stolon-keeper服务(RO)已经暴露了30544端口。
连接master并且建立test表
连接slave并且检查数据。你可以写一些信息以便确认请求已经被slave处理了。
在测试通过后,我们去试试failover功能。
测试failover
这个案例是官方代码库中statefullset的一个 例子 。简单的说,就是为模拟了master挂掉,我们先删除了master的statefulset又删除了master的pod。然后,在sentinel的log中我们可以看到新的master被选举出来了。
现在,在刚才的那两个终端中如果我们重复上一个命令,我们可以看到如下输出。
Kubernetes的service把不可用的pod去掉,把请求转到可用的pod上。所以新的读取连接被路由到了健康的pod上。
最后,我们需要重新创建statefulset。最简单的方法就是更新部署了的helm chart。
2.用chaoskube模拟随机的pod挂掉
另一个测试集群弹性(resilience)的好方法是用 chaoskube 。Chaoskube是一个小的服务程序,它可以周期性的在集群里随机的kill掉一些的pod。它也可以用helm charts部署。这条命令会运行chaoskube,它会每5分钟删除一个pod。它会选择label中
release=factual-crocodile
的pod,但是会忽略etcd的pod。
在做了几个小时的测试之后,我的集群环境仍然是一致并且工作的很稳定。
结论
我仍然在我的开发服务器上运行stolon。到目前为止我还是满意的。他真的很想一个本地的运环境。有很好的弹性和自动化的failover能力。如果你对它感兴趣-可以查看我的 官方repository 或者和我的 chart 。
原文链接:How to deploy HA PostgreSQL cluster on Kubernetes(翻译:王晓轩)
原文发布时间为:2017-03-09
本文作者:王晓轩
本文来自云栖社区合作伙伴Dockerone.io,了解相关信息可以关注Dockerone.io。
原文标题:如何在Kubernetes中部署一个高可用的PostgreSQL集群环境