开发者社区> CTO技术共享> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Kubernetes 构建 Redis 集群

简介: Kubernetes 构建 Redis 集群
+关注继续查看


image

一、问题分析

本质上来说,在 k8s 上部署一个 redis 集群和部署一个普通应用没有什么太大的区别,但需要注意下面几个问题:

  1. Redis 是一个有状态应用
    这是部署 redis 集群时我们最需要注意的问题,当我们把 redis 以 pod 的形式部署在 k8s 中时,每个 pod 里缓存的数据都是不一样的,而且 pod 的 IP 是会随时变化,这时候如果使用普通的 deployment 和 service 来部署 redis-cluster 就会出现很多问题,因此需要改用 StatefulSet + Headless Service 来解决
  2. 数据持久化
    redis 虽然是基于内存的缓存,但还是需要依赖于磁盘进行数据的持久化,以便服务出现问题重启时可以恢复已经缓存的数据。在集群中,我们需要使用共享文件系统 + PV(持久卷)的方式来让整个集群中的所有 pod 都可以共享同一份持久化储存

二、概念介绍

在开始之前先来详细介绍一下几个概念和原理。

1、Headless Service

简单的说,Headless Service 就是没有指定 Cluster IP 的 Service,相应的,在 k8s 的 dns 映射里,Headless Service 的解析结果不是一个 Cluster IP,而是它所关联的所有 Pod 的 IP 列表

2、StatefulSet

StatefulSet是 k8s 中专门用于解决有状态应用部署的一种资源,总的来说可以认为它是Deployment/RC的一个变种,它有以下几个特性:

  1. StatefulSet 管理的每个 Pod 都有唯一的文档/网络标识,并且按照数字规律生成,而不是像 Deployment 中那样名称和 IP 都是随机的(比如 StatefulSet 名字为 redis,那么 pod 名就是 redis-0, redis-1 ...)
  2. StatefulSet 中 ReplicaSet 的启停顺序是严格受控的,操作第 N 个 pod 一定要等前 N-1 个执行完才可以
  3. StatefulSet 中的 Pod 采用稳定的持久化储存,并且对应的 PV 不会随着 Pod 的删除而被销毁

另外需要说明的是,StatefulSet 必须要配合 Headless Service 使用,它会在 Headless Service 提供的 DNS 映射上再加一层,最终形成精确到每个 pod 的域名映射,格式如下:

$(podname).$(headless service name)

有了这个映射,就可以在配置集群时使用域名替代 IP,实现有状态应用集群的管理

三、方案

借助 StatefulSet 和 Headless Service,集群的部署方案设计如下(图片来自参考文章):


image


配置步骤大概罗列如下:

  1. 配置共享文件系统 NFS
  2. 创建 PV 和 PVC
  3. 创建 ConfigMap
  4. 创建 Headless Service
  5. 创建 StatefulSet
  6. 初始化 redis 集群

实际操作

为了简化复杂度,这次先不配置 PV 和 PVC,直接通过普通 Volume 的方式来挂载数据。在K8s上搭建Mysql集群

1、创建 ConfigMap

先创建redis.conf配置文件

appendonly yescluster-enabled yescluster-config-file /var/lib/redis/nodes.confcluster-node-timeout 5000dir /var/lib/redisport 6379

然后kubectl create configmap redis-conf --from-file=redis.conf来创建 ConfigMap

2、创建 HeadlessService

apiVersion: v1kind: Servicemetadata:  name: redis-service  labels:    app: redisspec:  ports:  - name: redis-port    port: 6379  clusterIP: None  selector:    app: redis    appCluster: redis-cluster

3、创建 StatefulSet

apiVersion: apps/v1beta1kind: StatefulSetmetadata:  name: redis-appspec:  serviceName: "redis-service"  replicas: 6  template:    metadata:      labels:        app: redis        appCluster: redis-cluster    spec:      terminationGracePeriodSeconds: 20      affinity:        podAntiAffinity:          preferredDuringSchedulingIgnoredDuringExecution:          - weight: 100            podAffinityTerm:              labelSelector:                matchExpressions:                - key: app                  operator: In                  values:                  - redis              topologyKey: kubernetes.io/hostname      containers:      - name: redis        image: "registry.cn-qingdao.aliyuncs.com/gold-faas/gold-redis:1.0"        command:          - "redis-server"        args:          - "/etc/redis/redis.conf"          - "--protected-mode"          - "no"        resources:          requests:            cpu: "100m"            memory: "100Mi"        ports:            - name: redis              containerPort: 6379              protocol: "TCP"            - name: cluster              containerPort: 16379              protocol: "TCP"        volumeMounts:          - name: "redis-conf"            mountPath: "/etc/redis"          - name: "redis-data"            mountPath: "/var/lib/redis"      volumes:      - name: "redis-conf"        configMap:          name: "redis-conf"          items:            - key: "redis.conf"              path: "redis.conf"      - name: "redis-data"        emptyDir: {}

4、初始化 redis 集群

StatefulSet 创建完毕后,可以看到 6 个 pod 已经启动了,但这时候整个 redis 集群还没有初始化,需要使用官方提供的redis-trib工具。

我们当然可以在任意一个 redis 节点上运行对应的工具来初始化整个集群,但这么做显然有些不太合适,我们希望每个节点的职责尽可能地单一,所以最好单独起一个 pod 来运行整个集群的管理工具。

在这里需要先介绍一下redis-trib,它是官方提供的 redis-cluster 管理工具,可以实现 redis 集群的创建、更新等功能,在早期的 redis 版本中,它是以源码包里redis-trib.rb这个 ruby 脚本的方式来运作的(pip 上也可以拉到 python 版本,但我运行失败),现在(我使用的5.0.3)已经被官方集成进redis-cli中。

开始初始化集群,首先在 k8s 上创建一个 ubuntu 的 pod,用来作为管理节点:

kubectl run -i --tty redis-cluster-manager --image=ubuntu --restart=Never /bin/bash

进入 pod 内部先安装一些工具,包括wget,dnsutils,然后下载和安装 redis:

wget http://download.redis.io/releases/redis-5.0.3.tar.gztar -xvzf redis-5.0.3.tar.gzcd redis-5.0.3.tar.gz && make

编译完毕后redis-cli会被放置在src目录下,把它放进/usr/local/bin中方便后续操作

接下来要获取已经创建好的 6 个节点的 host ip,可以通过nslookup结合 StatefulSet 的域名规则来查找,举个例子,要查找redis-app-0这个 pod 的 ip,运行如下命令:

root@redis-cluster-manager:/# nslookup redis-app-0.redis-serviceServer:     10.96.0.10Address:  10.96.0.10#53
Name:   redis-app-0.redis-service.gold.svc.cluster.localAddress: 172.17.0.10

172.17.0.10就是对应的 ip。这次部署我们使用 0,1,2 作为 Master 节点;3,4,5 作为 Slave 节点,先运行下面的命令来初始化集群的 Master 节点:

redis-cli --cluster create 172.17.0.10:6379 172.17.0.11:6379 172.17.0.12:6379


image


然后给他们分别附加对应的 Slave 节点,这里的cluster-master-id在上一步创建的时候会给出:

redis-cli --cluster add-node 172.17.0.13:6379 172.17.0.10:6379 --cluster-slave --cluster-master-id adf443a4d33c4db2c0d4669d61915ae6faa96b46


redis-cli --cluster add-node 172.17.0.14:6379 172.17.0.11:6379 --cluster-slave --cluster-master-id 6e5adcb56a871a3d78343a38fcdec67be7ae98f8


redis-cli --cluster add-node 172.17.0.16:6379 172.17.0.12:6379 --cluster-slave --cluster-master-id c061e37c5052c22f056fff2a014a9f63c3f47ca0

集群初始化后,随意进入一个节点检查一下集群信息:


image


至此,集群初始化完毕,我们进入一个节点来试试,注意在集群模式下redis-cli必须加上-c参数才能够访问其他节点上的数据:

image

5、创建 Service

现在进入 redis 集群中的任意一个节点都可以直接进行操作了,但是为了能够对集群其他的服务提供访问,还需要建立一个 service 来实现服务发现和负载均衡(注意这里的 service 和我们之前创建的 headless service 不是一个东西)

yaml 文件如下:

apiVersion: v1kind: Servicemetadata:  name: gold-redis  labels:    app: redisspec:  ports:  - name: redis-port    protocol: "TCP"    port: 6379    targetPort: 6379  selector:    app: redis    appCluster: redis-cluster

部署完做个测试:


image


很简单,到这里所有的工作就完毕了~


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
在 Kubernetes 集群上部署 VSCode
在 Kubernetes 集群上部署 Visual Studio Code 是一个轻量级但功能强大的源代码编辑器,可在您的桌面上运行,适用于 Windows、macOS 和 Linux。它内置了对 JavaScript、TypeScript 和 Node.js 的支持,并为其他语言(如 C++、C#、Java、Python、PHP、Go)和运行时(如 .NET 和 Unity)提供了丰富的扩展生态系统.
89 0
在kubernetes集群中部署open-falcon
公司最近监控系统从zabbix切换到open-falcon,需要将open-falcon部署到私有的kubernetes集群上。open-falcon团队最近没有更新维护,提交的PR没有反应,所以将部署方法记录到这里。
67 0
Kubernetes 集群包管理器 Helm3 部署
Kuberbetes 能够很好地组织和编排容器,但它缺少一个更高层次的应用打包工具,而 Helm 就是解决这个问题的。
252 0
Kubernetes 集群部署 Ingress Traefik v2.4
Traefik 是一个开源的可以使服务发布变得轻松有趣的边缘路由器。它负责接收你系统的请求,然后使用合适的组件来对这些请求进行处理。
347 0
Kubernetes集群的详细部署
一、集群机器 linux-node1:192.168.56.11 ---master 部署的服务: etcd kube-apiserver kube-controller-manager kube-scheduler docker linux-node2:192.
1208 0
在Kubernetes集群中部署Heapster
背景 公司的容器云平台需要新增应用的自动扩缩容的功能,以便能够更加智能化的对应用进行管理。 Kubernetes官方提供了HPA(Horizontal Pod Autoscaling)资源对象。要让我们部署的应用做到自动的水平的(水平指的是增减Pod副本数量)进行扩缩容,我们只需要在Kubernetes集群中创建HPA资源对象,然后让该资源对象关联某一需要进行自动扩缩容的应用即可。
1853 0
【kubernetes】二进制文件方式安装 Kubernetes 集群(一)
【kubernetes】二进制文件方式安装 Kubernetes 集群(一)
78 0
【kubernetes】二进制文件方式安装 Kubernetes 集群(四)
二进制文件方式安装 Kubernetes 集群(四)
40 0
+关注
CTO技术共享
专注大数据、架构框架、集群、中间件、分布式、数据库、监控、开源、基础架构等技术分享,助力数字化转型。
279
文章
47
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载