基于Prometheus+Grafana的PolarDB-X监控体系

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: 《PolarDB-X 动手实践》系列第十期,体验如何监控PolarDB-X集群。


1. 创建实验资源

开始实验之前,您需要先创建ECS实例资源。

  1. 在实验室页面,单击创建资源

说明:资源创建过程需要1~3分钟。

  1. (可选)在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如IP地址、用户信息等)。


2. 连接PolarDB-X集群

本步骤将指导您如何连接通过K8s部署的PolarDB-X集群。

说明:本场景ECS实例已为您提前安装完成通过K8s部署的PolarDB-X集群

  1. 执行如下命令,切换到账号galaxykube。
su galaxykube
  1. 执行如下命令,启动一个minikube。

说明:这里我们使用了阿里云的minikube镜像源以及USTC提供的docker镜像源来加速镜像的拉取。

minikube start --cpus 8 --memory 12288 --image-mirror-country cn --registry-mirror=https://docker.mirrors.sjtug.sjtu.edu.cn

返回结果如下,表示minikube已经正常运行。

  1. 执行如下命令,查看PolarDB-X集群登录密码。
kubectl get secret polardb-x -o jsonpath="{.data['polardbx_root']}" | base64 -d - | xargs echo "Password: "

返回结果如下,您可以查看到PolarDB-X集群登录密码。

  1. 执行如下命令,将PolarDB-X集群端口转发到3306端口。

说明:使用MySQL Client方式登录通过k8s部署的PolarDB-X集群前,您需要进行获取PolarDB-X集群登录密码和端口转发。

kubectl port-forward svc/polardb-x 3306
  1. 在实验页面,单击右上角的 图标,创建新的终端二。

  1. 执行如下命令,连接PolarDB-X集群。

说明:

  • 您需要将替换为实际获取到的PolarDB-X集群登录密码。
  • 如遇到到mysql: [Warning] Using a password on the command line interface can be insecure.ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0报错,是因为PolarDB-X集群容器在启动中,请您稍等三分钟,重新转发端口并连接PolarDB-X集群即可。
mysql -h127.0.0.1 -P3306 -upolardbx_root -p<PolarDB-X集群登录密码>


3. 启动业务

本步骤将指导您如何使用Sysbench Select场景模拟业务流量。

  1. 准备压测数据。

a.执行如下SQL语句,创建压测库。

create database sysbench_test;

b.输入exit退出数据库。

c.执行如下命令,切换到账号galaxykube。

su galaxykube

d.执行如下命令,进入到/home/galaxykube目录。

cd

e.执行如下命令,创建压测数据的配置文件sysbench-prepare.yaml。

vim sysbench-prepare.yaml

f.按i键进入编辑模式,将如下代码复制到sysbench-prepare.yaml文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。

apiVersion: batch/v1
kind: Job
metadata:
  name: sysbench-prepare-data-test
  namespace: default
spec:
  backoffLimit: 0
  template:
    spec:
      restartPolicy: Never
      containers:
        - name: sysbench-prepare
          image: severalnines/sysbench
          env:
            - name: POLARDB_X_USER
              value: polardbx_root
            - name: POLARDB_X_PASSWD
              valueFrom:
                secretKeyRef:
                  name: polardb-x
                  key: polardbx_root
          command: [ 'sysbench' ]
          args:
            - --db-driver=mysql
            - --mysql-host=$(POLARDB_X_SERVICE_HOST)
            - --mysql-port=$(POLARDB_X_SERVICE_PORT)
            - --mysql-user=$(POLARDB_X_USER)
            - --mysql_password=$(POLARDB_X_PASSWD)
            - --mysql-db=sysbench_test
            - --mysql-table-engine=innodb
            - --rand-init=on
            - --max-requests=1
            - --oltp-tables-count=1
            - --report-interval=5
            - --oltp-table-size=160000
            - --oltp_skip_trx=on
            - --oltp_auto_inc=off
            - --oltp_secondary
            - --oltp_range_size=5
            - --mysql_table_options=dbpartition by hash(`id`)
            - --num-threads=1
            - --time=3600
            - /usr/share/sysbench/tests/include/oltp_legacy/parallel_prepare.lua
            - run


g.执行如下命令,运行准备压测数据的配置文件sysbench-prepare.yaml,初始化测试数据。

kubectl apply -f sysbench-prepare.yaml

h.执行如下命令,获取任务进行状态。

kubectl get jobs

返回结果如下,请您耐心等待大约1分钟,当任务状态COMPLETIONS为1/1时,表示数据已经初始化完成。

  1. 启动压测流量。

a.执行如下命令,创建启动压测的配置文件sysbench-select.yaml。

vim sysbench-select.yaml

b.按i键进入编辑模式,将如下代码复制到文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。

apiVersion: batch/v1
kind: Job
metadata:
  name: sysbench-point-select-k-test
  namespace: default
spec:
  backoffLimit: 0
  template:
    spec:
      restartPolicy: Never
      containers:
        - name: sysbench-point-select-k
          image: severalnines/sysbench
          env:
            - name: POLARDB_X_USER
              value: polardbx_root
            - name: POLARDB_X_PASSWD
              valueFrom:
                secretKeyRef:
                  name: polardb-x
                  key: polardbx_root
          command: [ 'sysbench' ]
          args:
            - --db-driver=mysql
            - --mysql-host=$(POLARDB_X_SERVICE_HOST)
            - --mysql-port=$(POLARDB_X_SERVICE_PORT)
            - --mysql-user=$(POLARDB_X_USER)
            - --mysql_password=$(POLARDB_X_PASSWD)
            - --mysql-db=sysbench_test
            - --mysql-table-engine=innodb
            - --rand-init=on
            - --max-requests=0
            - --oltp-tables-count=1
            - --report-interval=5
            - --oltp-table-size=32000000
            - --oltp_skip_trx=on
            - --oltp_auto_inc=off
            - --oltp_secondary
            - --oltp_range_size=5
            - --mysql-ignore-errors=all
            - --num-threads=8
            - --time=3600
            - --random_points=1
            - /usr/share/sysbench/tests/include/oltp_legacy/select.lua
            - run


c.执行如下命令,运行启动压测的配置文件sysbench-oltp.yaml,开始压测。

kubectl apply -f sysbench-select.yaml

d.执行如下命令,查找压测脚本运行的POD。

kubectl get pods

返回结果如下, 以‘sysbench-point-select-k-test-’开头的POD即为目标POD。

e.执行如下命令,查看QPS等流量数据。

说明:您需要将命令中的目标POD替换为以‘sysbench-point-select-k-test’开头的POD。

kubectl logs -f 目标POD

返回结果如下,您可查看到QPS等流量数据。


4. 开启监控

本步骤将指导您如何安装PolarDB-X Monitor组件、开启PolarDB-X监控并访问Grafana Dashboard。

  1. 在实验页面,单击右上角的 图标,创建新的终端三。

  1. 安装PolarDB-X Monitor组件。

a.执行如下命令,切换到账号galaxykube。

su galaxykube

b.执行如下命令,进入到/home/galaxykube目录。

cd

c.执行如下命令,创建一个名为polardbx-monitor的命名空间。

kubectl create namespace polardbx-monitor

d.执行如下命令,添加PolarDB-X的Helm chart仓库。

helm repo add polardbx https://polardbx-charts.oss-cn-beijing.aliyuncs.com

e.由于在minikube上安装Prometheus+Grafana可能出现资源不够的情况,需要准备一个values.yaml的文件调整这两个组件的规格。执行如下命令,创建values.yaml文件。

vim values.yaml

f.按i键进入编辑模式,将如下代码复制到values.yaml文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。

monitors:
 prometheus:
   resources:
     requests:
       cpu: 1000m
       memory: 2Gi
     limits:
       cpu: 2000m
       memory: 8Gi

g.执行如下命令,安装PolarDB-X Monitor。

helm install --namespace polardbx-monitor polardbx-monitor polardbx/polardbx-monitor -f values.yaml

h.执行如下命令,检查相关组件是否正常,确认所有的pod都处于Running状态。

kubectl get pods -n polardbx-monitor

返回结果如下,请您耐心等待大约一分钟,当所有pod的STATUS为Running时,表示PolarDB-X Monito安装完成。

  1. 开启PolarDB-X监控。

PolarDB-X 集群的监控采集功能默认是关闭的,需要为您需要监控的PolarDBXCluster创建PolarDBXMonitor对象进行开启。

a.执行如下命令,创建polardbx-monitor.yaml文件。

vim polardbx-monitor.yaml

b.按i键进入编辑模式,将如下代码复制到polardbx-monitor.yaml文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。

apiVersion: polardbx.aliyun.com/v1
kind: PolarDBXMonitor
metadata:
  name: polardb-x-monitor
spec:
  clusterName: polardb-x
  monitorInterval: 15s
  scrapeTimeout: 10s

c.执行如下命令,创建PolarDBXMonitor对象。

kubectl apply -f polardbx-monitor.yaml
  1. 访问Grafana Dashboard。

a.默认情况下执行如下命令,将Grafana端口转发到本地。

kubectl port-forward svc/grafana -n polardbx-monitor 3000 --address=0.0.0.0

b.打开您的本机浏览器,在地址栏中访问http://:3000

说明:您需要将替换为云产品资源列表中的ECS弹性IP。

c.在Grafana Dashboard登录页面,输入默认的用户名admin和密码admin,单击Log in

d.在设置密码页面,自定义admin用户的新密码,单击Submit

返回如下页面,您即可在在PolarDB-X Dashboard页面查看QPS,RT等指标。


5. 了解更多

如果您想了解更多有关PolarDB-X的知识,详情请参见PolarDB-X on Kubenetes(一)

实验链接

相关实践学习
函数计算X RDS PostgreSQL,基于LLM大语言模型构建AI知识库
基于ChatGLM6B 大语言模型构建AI知识库问答应用。答疑群17125058181
相关文章
|
6天前
|
Prometheus Kubernetes 监控
Kubernetes(K8S) 监控 Prometheus + Grafana
Kubernetes(K8S) 监控 Prometheus + Grafana
22 2
|
12天前
|
Prometheus 监控 Cloud Native
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
|
18天前
|
数据采集 弹性计算 Prometheus
重磅升级!从自建Prometheus到阿里云托管:无缝迁移,监控能力全面飞跃
【8月更文挑战第2天】如何从自建开源 Prometheus 迁移到阿里云托管 Prometheus 服务
29 2
|
18天前
|
Prometheus 监控 Cloud Native
|
23天前
|
Prometheus 监控 Cloud Native
Prometheus结合Consul采集多个MySQL实例的监控指标
将 Prometheus 与 Consul 结合使用,实现对多个 MySQL 实例的自动发现与监控,不仅提高了监控的效率和准确性,也为管理动态扩缩容的数据库环境提供了强大的支持。通过细致配置每一部分,业务可以获得关键的性能指标和运行健康状况的即时反馈,进而优化资源配置,提高系统的稳定性和可用性。
39 3
|
13天前
|
Prometheus 监控 Cloud Native
基于Prometheus搭建监控平台
基于Prometheus搭建监控平台
|
17天前
|
Prometheus 监控 Cloud Native
性能监控之 node_exporter+Prometheus+Grafana 实现主机监控
【8月更文挑战第3天】性能监控之 node_exporter+Prometheus+Grafana 实现主机监控
19 0
|
21天前
|
监控 数据可视化 关系型数据库
PolarDB产品使用问题之如何使用Grafana采集PolarDB的指标并进行可视化监控
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
3月前
|
关系型数据库 分布式数据库 数据库
【PolarDB开源】PolarDB-X源码解读:分布式事务处理机制揭秘
【5月更文挑战第20天】PolarDB-X,PolarDB家族的一员,专注于大规模分布式事务处理,采用2PC协议保证ACID特性。源码解析揭示其通过预提交、一致性快照隔离和乐观锁优化事务性能,以及利用事务日志进行故障恢复。深入理解其事务处理机制对开发者掌握分布式数据库核心技术至关重要。随着开源社区的发展,更多优化方案将涌现,助力构建更强大的分布式数据库系统。
162 6
|
25天前
|
关系型数据库 分布式数据库 PolarDB
PolarDB产品使用问题之如何基于Docker进行PolarDB-X单机模拟部署
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
PolarDB产品使用问题之如何基于Docker进行PolarDB-X单机模拟部署

热门文章

最新文章

相关产品

  • 云原生数据库 PolarDB