用PolarDB-X搭建一个高可用交易系统

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: 场景将提供一台配置了CentOS 8.5操作系统和安装部署PolarDB-X集群的ECS实例(云服务器)。通过本教程的操作,带您体验如何使用PolarDB-X搭建一个高可用系统,通过直接kill容器模拟节点故障,以观察PolarDB-X 的自动恢复情况。

1、安装环境

本步骤将指导您如何安装Docker、kubectl、minikube和Helm3。

1、安装Docker。

执行如下命令,安装Docker。启动Docker。

curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl start docker

2.安装kubectl。

执行如下命令,下载kubectl文件。赋予可执行权限。移动到系统目录。

curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl
chmod +x ./kubectl
mv ./kubectl /usr/local/bin/kubectl

3、安装minikube。

执行如下命令,下载并安装minikube。

curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64
sudo install minikube-linux-amd64 /usr/local/bin/minikube

4、安装Helm3。

执行如下命令,下载Helm3。解压Helm3。移动到系统目录。

wget https://labfileapp.oss-cn-hangzhou.aliyuncs.com/helm-v3.9.0-linux-amd64.tar.gz
tar -zxvf helm-v3.9.0-linux-amd64.tar.gztar -zxvf helm-v3.9.0-linux-amd64.tar.gz
mv linux-amd64/helm /usr/local/bin/helm

5、 安装MySQL。

yum install mysql -y

2. 使用PolarDB-X Operator安装

本步骤将指导您如何创建一个简单的Kubernetes集群并部署PolarDB-X Operator ,使用Operator部署一个完整的PolarDB-X集群,详细文档请参考通过Kubernetes安装PolarDB-Xhttps://doc.polardbx.com/quickstart/topics/quickstart-k8s.html?spm=a2c6h.13858378.0.0.392113eddw1jbz)。

1、使用minikube创建Kubernetes集群。

minikube是由社区维护的用于快速创建Kubernetes测试集群的工具,适合测试和学习Kubernetes。使用minikube创建的Kubernetes集群可以运行在容器或是虚拟机中,本实验场景以CentOS 8.5上创建Kubernetes为例。

说明:如果您使用其他操作系统部署minikube,例如macOS或Windows,部分步骤可能略有不同。

执行如下命令,新建账号galaxykube,并将galaxykube加入docker组中。minikube要求使用非root账号进行部署,所有您需要新建一个账号。切换到账号galaxykube。进入到home/galaxykube目录。启动一个minikube。

说明:这里我们使用了阿里云的minikube镜像源以及USTC提供的docker镜像源来加速镜像的拉取。

useradd -ms /bin/bash galaxykube
usermod -aG docker galaxykube
su galaxykube
cd
minikube start --cpus 4 --memory 12288 --image-mirror-country cn --registry-mirror=https://docker.mirrors.sjtug.sjtu.edu.cn --kubernetes-version 1.23.3

返回结果如下,表示minikube已经正常运行,minikube将自动设置kubectl的配置文件。


使用kubectl查看集群信息。

kubectl cluster-info

返回如下结果,您可以查看到集群相关信息。

2、部署 PolarDB-X Operator。

执行如下命令,创建一个名为polardbx-operator-system的命名空间。安装PolarDB-X Operator。查看PolarDB-X Operator组件的运行情况。

kubectl create namespace polardbx-operator-system
helm repo add polardbx https://polardbx-charts.oss-cn-beijing.aliyuncs.com
helm install --namespace polardbx-operator-system polardbx-operator polardbx/polardbx-operator
kubectl get pods --namespace polardbx-operator-system

返回结果如下,请您耐心等待2分钟,等待所有组件都进入Running状态,表示PolarDB-X Operator已经安装完成。

3、部署 PolarDB-X 集群。

执行如下命令,创建polardb-x.yaml。按i键进入编辑模式,将如下代码复制到文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。创建PolarDB-X集群。查看PolarDB-X集群创建状态。

vim polardb-x.yaml
apiVersion: polardbx.aliyun.com/v1
kind: PolarDBXCluster
metadata:
  name: polardb-x
spec:
  config:
    dn:
      mycnfOverwrite: |-
        print_gtid_info_during_recovery=1
        gtid_mode = ON
        enforce-gtid-consistency = 1
        recovery_apply_binlog=on
        slave_exec_mode=SMART
  topology:
    nodes:
      cdc:
        replicas: 1
        template:
          resources:
            limits:
              cpu: "1"
              memory: 1Gi
            requests:
              cpu: 100m
              memory: 500Mi
      cn:
        replicas: 2
        template:
          resources:
            limits:
              cpu: "2"
              memory: 4Gi
            requests:
              cpu: 100m
              memory: 1Gi
      dn:
        replicas: 1
        template:
          engine: galaxy
          hostNetwork: true
          resources:
            limits:
              cpu: "2"
              memory: 4Gi
            requests:
              cpu: 100m
              memory: 500Mi
      gms:
        template:
          engine: galaxy
          hostNetwork: true
          resources:
            limits:
              cpu: "1"
              memory: 1Gi
            requests:
              cpu: 100m
              memory: 500Mi
          serviceType: ClusterIP
  upgradeStrategy: RollingUpgrade
kubectl apply -f polardb-x.yaml
kubectl get polardbxCluster polardb-x -o wide -w

返回结果如下,请您耐心等待七分钟左右,当PHASE显示为Running时,表示PolarDB-X集群已经部署完成。

按Ctrl+C键,退出查看PolarDB-X集群创建状态。

3、连接PolarDB-X集群

本步骤将指导您如何连接通过K8s部署的PolarDB-X集群。

执行如下命令,查看PolarDB-X集群登录密码。

kubectl get secret polardb-x -o jsonpath="{.data['polardbx_root']}" | base64 -d - | xargs echo "Password: "

返回结果如下,您可以查看到PolarDB-X集群登录密码。

执行如下命令,将PolarDB-X集群端口转发到3306端口。

说明:使用MySQL Client方式登录通过k8s部署的PolarDB-X集群前,您需要进行获取PolarDB-X集群登录密码和端口转发。

kubectl port-forward svc/polardb-x 3306

执行如下命令,连接PolarDB-X集群。

说明:

您需要将<PolarDB-X集群登录密码>替换为实际获取到的PolarDB-X集群登录密码。

如遇到mysql: [Warning] Using a password on the command line interface can be insecure.ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0报错,请您稍等一分钟,重新转发端口并连接PolarDB-X集群即可。

mysql -h127.0.0.1 -P3306 -upolardbx_root -p<PolarDB-X集群登录密码>

4、启动业务

本步骤将指导您如何使用Sysbench OLTP场景模拟业务流量。

1、准备压测数据。

执行如下SQL语句,创建压测数据库sysbench_test。

create database sysbench_test;

输入exit退出数据库。

执行如下命令,切换到账号galaxykube。进入到/home/galaxykube目录。创建准备压测数据的sysbench-prepare.yaml文件。

su galaxykube
cd
vim sysbench-prepare.yaml

按i键进入编辑模式,将如下代码复制到文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。

apiVersion: batch/v1
kind: Job
metadata:
  name: sysbench-prepare-data-test
  namespace: default
spec:
  backoffLimit: 0
  template:
    spec:
      restartPolicy: Never
      containers:
        - name: sysbench-prepare
          image: severalnines/sysbench
          env:
            - name: POLARDB_X_USER
              value: polardbx_root
            - name: POLARDB_X_PASSWD
              valueFrom:
                secretKeyRef:
                  name: polardb-x
                  key: polardbx_root
          command: [ 'sysbench' ]
          args:
            - --db-driver=mysql
            - --mysql-host=$(POLARDB_X_SERVICE_HOST)
            - --mysql-port=$(POLARDB_X_SERVICE_PORT)
            - --mysql-user=$(POLARDB_X_USER)
            - --mysql_password=$(POLARDB_X_PASSWD)
            - --mysql-db=sysbench_test
            - --mysql-table-engine=innodb
            - --rand-init=on
            - --max-requests=1
            - --oltp-tables-count=1
            - --report-interval=5
            - --oltp-table-size=160000
            - --oltp_skip_trx=on
            - --oltp_auto_inc=off
            - --oltp_secondary
            - --oltp_range_size=5
            - --mysql_table_options=dbpartition by hash(`id`)
            - --num-threads=1
            - --time=3600
            - /usr/share/sysbench/tests/include/oltp_legacy/parallel_prepare.lua
            - run

执行如下命令,运行准备压测数据的sysbench-prepare.yaml文件,初始化测试数据。获取任务进行状态。

kubectl apply -f sysbench-prepare.yaml
kubectl get jobs

返回结果如下,请您耐心等待大约1分钟,当任务状态COMPLETIONS为1/1时,表示数据已经初始化完成。


2、启动压测流量。

执行如下命令,创建启动压测的sysbench-oltp.yaml文件。

vim sysbench-oltp.yaml

按i键进入编辑模式,将如下代码复制到文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。

apiVersion: batch/v1
kind: Job
metadata:
  name: sysbench-oltp-test
  namespace: default
spec:
  backoffLimit: 0
  template:
    spec:
      restartPolicy: Never
      containers:
        - name: sysbench-oltp
          image: severalnines/sysbench
          env:
            - name: POLARDB_X_USER
              value: polardbx_root
            - name: POLARDB_X_PASSWD
              valueFrom:
                secretKeyRef:
                  name: polardb-x
                  key: polardbx_root
          command: [ 'sysbench' ]
          args:
            - --db-driver=mysql
            - --mysql-host=$(POLARDB_X_SERVICE_HOST)
            - --mysql-port=$(POLARDB_X_SERVICE_PORT)
            - --mysql-user=$(POLARDB_X_USER)
            - --mysql_password=$(POLARDB_X_PASSWD)
            - --mysql-db=sysbench_test
            - --mysql-table-engine=innodb
            - --rand-init=on
            - --max-requests=0
            - --oltp-tables-count=1
            - --report-interval=5
            - --oltp-table-size=160000
            - --oltp_skip_trx=on
            - --oltp_auto_inc=off
            - --oltp_secondary
            - --oltp_range_size=5
            - --mysql-ignore-errors=all
            - --num-threads=8
            - --time=3600
            - /usr/share/sysbench/tests/include/oltp_legacy/oltp.lua
            - run

执行如下命令,运行启动压测的sysbench-oltp.yaml文件,开始压测。查找压测脚本运行的POD。

kubectl apply -f sysbench-oltp.yaml
kubectl get pods

返回结果如下, 以‘sysbench-oltp-test-’开头的POD即为目标POD。

执行如下命令,查看QPS等流量数据。

说明:您需要将命令中的目标POD替换为以‘sysbench-oltp-test-’开头的POD。

kubectl logs -f 目标POD

5、体验PolarDB-X高可用能力

经过前面的准备工作,我们已经用PolarDB-X+Sysbench OLTP搭建了一个正在运行的业务系统。本步骤将指导您通过使用kill POD的方式,模拟物理机宕机、断网等导致的节点不可用场景,并观察业务QPS的变化情况。

1、在实验页面,单击右上角的 图标,创建新的终端三。

2、kill CN。

执行如下命令,切换到账号galaxykube。获取CN POD的名字。

su galaxykube
kubectl get pods

返回结果如下,以‘polardb-x-xxxx-cn-default’开头的是CN POD的名字。

执行如下命令,删除任意一个CN POD。 说明:您需要将命令中的<CN POD>替换为任意一个以‘polardb-x-xxxx-cn-default’开头的CN POD的名字。查看CN POD自动创建情况。

kubectl delete pod <CN POD>
kubectl get pods

返回结果如下,您可查看到CN POD已经处于自动创建中。

经过几十秒后,被kill的CN POD自动恢复正常。

切换至终端二,您可查看kill CN之后业务QPS的情况。

3、kill DN。

切换至终端三,执行如下命令,获取DN POD的名字。

kubectl get pods

返回结果如下,以‘polardb-x-xxxx-dn’开头的是DN POD的名字。

执行如下命令,删除任意一个DN POD。

说明:

您需要将命令中的<DN POD>替换为任意一个以‘polardb-x-xxxx-dn’开头的DN POD的名字。

DN每个逻辑节点为三副本架构,也就是说一个DN节点对应3个POD,可任意选择一个进行删除操作。此外,GMS节点是一个特殊角色的DN,同样具备高可用能力,可选择任一POD进行删除。

kubectl delete pod <DN POD>
kubectl get pods

返回结果如下,您可查看到DN POD已经处于自动创建中。

换至终端二,您可查看kill DN之后业务QPS的情况。

4、kill CDC。

切换至终端三,执行如下命令,获取CDC POD的名字。

kubectl get pods

返回结果如下,以‘polardb-x-xxxx-cdc-defaul’开头的是CDC POD的名字。

执行如下命令,删除任意一个CDC POD。

说明:您需要将命令中的<CDC POD>替换为任意一个以‘polardb-x-xxxx-cdc-defaul’开头的CDC POD的名字。查看CDC POD自动创建情况。

kubectl delete pod <CDC POD>
kubectl get pods、

返回结果如下,您可查看到CDC POD已经处于自动创建中。

经过几十秒后,被kill的CDC POD自动恢复正常。

切换至终端二,您可查看kill CDC之后业务QPS的情况。













相关实践学习
快速体验PolarDB开源数据库
本实验环境已内置PostgreSQL数据库以及PolarDB开源数据库:PolarDB PostgreSQL版和PolarDB分布式版,支持一键拉起使用,方便各位开发者学习使用。
目录
相关文章
|
存储 负载均衡 关系型数据库
PolarDB 高可用
PolarDB 高可用
79 0
|
4月前
|
存储 Cloud Native 关系型数据库
PolarDB 高可用架构设计与实践
【8月更文第27天】 在现代互联网应用中,数据库作为核心的数据存储层,其稳定性和可靠性尤为重要。阿里云的 PolarDB 作为一款云原生的关系型数据库服务,提供了高可用、高性能和自动化的特性,适用于各种规模的应用。本文将详细介绍 PolarDB 的高可用架构设计,并探讨其实现数据安全性和业务连续性的关键技术。
116 0
|
7月前
|
存储 Kubernetes 关系型数据库
使用开源ProxySQL构建PolarDB-X标准版高可用路由服务
本文将指导如何快速搭建和配置PolarDB-X标准版与ProxySQL,并提供验证高可用路由服务验证测试。
|
7月前
|
存储 关系型数据库 分布式数据库
【PolarDB开源】PolarDB高可用架构解析:确保业务连续性的关键设计
【5月更文挑战第22天】阿里云PolarDB是一款高可用、高性能的云原生数据库,采用分布式共享存储架构实现计算与存储分离。通过主从复制保证数据实时同步,当主节点故障时,从节点能快速接管。此外,PolarDB提供自动故障转移和数据备份恢复功能,确保业务连续性和数据安全性。一个简单的Python SDK使用示例展示了查询数据的过程。总之,PolarDB通过多种机制保障了企业在异常情况下的服务稳定和数据完整性。
281 5
|
7月前
|
安全 关系型数据库 分布式数据库
【PolarDB 开源】PolarDB 在金融行业中的实践:高可用与安全合规解决方案
【5月更文挑战第28天】PolarDB,一款适用于金融行业的强大数据库,以其高可用性和安全合规性脱颖而出。通过多副本机制和自动故障转移确保业务连续性,结合严格的访问控制和数据加密技术保护信息安全。在实际应用中,如银行核心系统,PolarDB 负责处理海量交易数据,同时支持主从架构以备故障切换。此外,设置强密码策略和加密存储确保合规性,并通过监控预警及时解决问题。随着金融科技发展,PolarDB 将在云原生架构和人工智能等领域发挥更大作用,助力金融行业创新与进步。
183 0
|
关系型数据库 分布式数据库 数据库
体验高可用云原生PolarDB MySQL引擎
本实验主要介绍如何在一台CentOS 7操作系统的ECS实例上,通过SysBench测试工具,体验云原生PolarDB MySQL引擎的高可用特性。
|
SQL 弹性计算 测试技术
实践教程之用PolarDB-X搭建一个高可用系统
PolarDB-X 为了方便用户体验,提供了免费的实验环境,您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验,PolarDB-X 也提供免费的视频课程,手把手教你玩转 PolarDB-X 分布式数据库。
实践教程之用PolarDB-X搭建一个高可用系统
|
存储 AliSQL 关系型数据库
《PolarDB for PostgreSQL源码与应用实战》——PolarDB for PostgreSQL高可用原理(上)
《PolarDB for PostgreSQL源码与应用实战》——PolarDB for PostgreSQL高可用原理(上)
189 0
|
算法 安全 关系型数据库
《PolarDB for PostgreSQL源码与应用实战》——PolarDB for PostgreSQL高可用原理(中)
《PolarDB for PostgreSQL源码与应用实战》——PolarDB for PostgreSQL高可用原理(中)
161 0
|
存储 缓存 算法
《PolarDB for PostgreSQL源码与应用实战》——PolarDB for PostgreSQL高可用原理(下)
《PolarDB for PostgreSQL源码与应用实战》——PolarDB for PostgreSQL高可用原理(下)
149 0

热门文章

最新文章

下一篇
DataWorks