实践教程之基于Prometheus+Grafana的PolarDB-X监控体系

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
简介: PolarDB-X 为了方便用户体验,提供了免费的实验环境,您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验,PolarDB-X 也提供免费的视频课程,手把手教你玩转 PolarDB-X 分布式数据库。

本期实验将指导您使用Prometheus+Grafana搭建PolarDB-X监控体系

本期免费实验地址:

https://developer.aliyun.com/adc/scenario/96435ae76c8442d4adedd0478f766e74

本期教学视频地址:

https://developer.aliyun.com/learning/course/1032/detail/15161


前置准备

假设已经根据前一讲内容完成了PolarDB-X的搭建部署,可以成功链接上PolarDB-X数据库。

PolarDB-X:实践教程之如何快速安装部署PolarDB-X


启动模拟业务流量

本步骤将指导您如何使用Sysbench Select场景模拟业务流量。

1.准备压测数据。

a.执行如下SQL语句,创建压测库。

create database sysbench_test;

b.输入exit退出数据库。

1.jpg

c.执行如下命令,切换到账号galaxykube。

su galaxykube

d.执行如下命令,进入到/home/galaxykube目录。

cd

e.执行如下命令,创建压测数据的配置文件sysbench-prepare.yaml。

vim sysbench-prepare.yaml


f.按i键进入编辑模式,将如下代码复制到sysbench-prepare.yaml文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。

apiVersion: batch/v1
kind: Job
metadata:
  name: sysbench-prepare-data-test
  namespace: default
spec:
  backoffLimit: 0
  template:
    spec:
      restartPolicy: Never
      containers:
        - name: sysbench-prepare
          image: severalnines/sysbench
          env:
            - name: POLARDB_X_USER
              value: polardbx_root
            - name: POLARDB_X_PASSWD
              valueFrom:
                secretKeyRef:
                  name: polardb-x
                  key: polardbx_root
          command: [ 'sysbench' ]
          args:
            - --db-driver=mysql
            - --mysql-host=$(POLARDB_X_SERVICE_HOST)
            - --mysql-port=$(POLARDB_X_SERVICE_PORT)
            - --mysql-user=$(POLARDB_X_USER)
            - --mysql_password=$(POLARDB_X_PASSWD)
            - --mysql-db=sysbench_test
            - --mysql-table-engine=innodb
            - --rand-init=on
            - --max-requests=1
            - --oltp-tables-count=1
            - --report-interval=5
            - --oltp-table-size=160000
            - --oltp_skip_trx=on
            - --oltp_auto_inc=off
            - --oltp_secondary
            - --oltp_range_size=5
            - --mysql_table_options=dbpartition by hash(`id`)
            - --num-threads=1
            - --time=3600
            - /usr/share/sysbench/tests/include/oltp_legacy/parallel_prepare.lua
            - run


g.执行如下命令,运行准备压测数据的配置文件sysbench-prepare.yaml,初始化测试数据。

kubectl apply -f sysbench-prepare.yaml

h.执行如下命令,获取任务进行状态。

kubectl get jobs

返回结果如下,请您耐心等待大约1分钟,当任务状态COMPLETIONS为1/1时,表示数据已经初始化完成。

2.png

2.启动压测流量。

a.执行如下命令,创建启动压测的配置文件sysbench-select.yaml。

vim sysbench-select.yaml


b.按i键进入编辑模式,将如下代码复制到文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。

apiVersion: batch/v1
kind: Job
metadata:
  name: sysbench-point-select-k-test
  namespace: default
spec:
  backoffLimit: 0
  template:
    spec:
      restartPolicy: Never
      containers:
        - name: sysbench-point-select-k
          image: severalnines/sysbench
          env:
            - name: POLARDB_X_USER
              value: polardbx_root
            - name: POLARDB_X_PASSWD
              valueFrom:
                secretKeyRef:
                  name: polardb-x
                  key: polardbx_root
          command: [ 'sysbench' ]
          args:
            - --db-driver=mysql
            - --mysql-host=$(POLARDB_X_SERVICE_HOST)
            - --mysql-port=$(POLARDB_X_SERVICE_PORT)
            - --mysql-user=$(POLARDB_X_USER)
            - --mysql_password=$(POLARDB_X_PASSWD)
            - --mysql-db=sysbench_test
            - --mysql-table-engine=innodb
            - --rand-init=on
            - --max-requests=0
            - --oltp-tables-count=1
            - --report-interval=5
            - --oltp-table-size=32000000
            - --oltp_skip_trx=on
            - --oltp_auto_inc=off
            - --oltp_secondary
            - --oltp_range_size=5
            - --mysql-ignore-errors=all
            - --num-threads=8
            - --time=3600
            - --random_points=1
            - /usr/share/sysbench/tests/include/oltp_legacy/select.lua
            - run

c.执行如下命令,运行启动压测的配置文件sysbench-oltp.yaml,开始压测。

kubectl apply -f sysbench-select.yaml

d.执行如下命令,查找压测脚本运行的POD。

kubectl get pods

返回结果如下, 以‘sysbench-point-select-k-test-’开头的POD即为目标POD。

3.jpg

e.执行如下命令,查看QPS等流量数据。

说明:您需要将命令中的目标POD替换为以‘sysbench-point-select-k-test’开头的POD。

kubectl logs -f 目标POD

返回结果如下,您可查看到QPS等流量数据。

4.jpg


开启监控

本步骤将指导您如何安装PolarDB-X Monitor组件、开启PolarDB-X监控并访问Grafana Dashboard。

1.在实验页面,单击右上角的+


图标,创建新的终端三。

5.jpg


2.安装PolarDB-X Monitor组件。

a.执行如下命令,切换到账号galaxykube。

su galaxykube

b.执行如下命令,进入到/home/galaxykube目录。

cd

c.执行如下命令,创建一个名为polardbx-monitor的命名空间。

kubectl create namespace polardbx-monitor

d.执行如下命令,添加PolarDB-X的Helm chart仓库。

helm repo add polardbx https://polardbx-charts.oss-cn-beijing.aliyuncs.com

e.由于在minikube上安装Prometheus+Grafana可能出现资源不够的情况,需要准备一个values.yaml的文件调整这两个组件的规格。执行如下命令,创建values.yaml文件。

vim values.yaml

f.按i键进入编辑模式,将如下代码复制到values.yaml文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。

monitors:
 prometheus:
   resources:
     requests:
       cpu: 1000m
       memory: 2Gi
     limits:
       cpu: 2000m
       memory: 8Gi

g.执行如下命令,安装PolarDB-X Monitor。

helm install --namespace polardbx-monitor polardbx-monitor polardbx/polardbx-monitor -f values.yaml

h.执行如下命令,检查相关组件是否正常,确认所有的pod都处于Running状态。

kubectl get pods -n polardbx-monitor

返回结果如下,请您耐心等待大约一分钟,当所有pod的STATUS为Running时,表示PolarDB-X Monito安装完成。

6.jpg


3.开启PolarDB-X监控。

PolarDB-X 集群的监控采集功能默认是关闭的,需要为您需要监控的PolarDBXCluster创建PolarDBXMonitor对象进行开启。

a.执行如下命令,创建polardbx-monitor.yaml文件。

vim polardbx-monitor.yaml

b.按i键进入编辑模式,将如下代码复制到polardbx-monitor.yaml文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。

apiVersion: polardbx.aliyun.com/v1
kind: PolarDBXMonitor
metadata:
  name: polardb-x-monitor
spec:
  clusterName: polardb-x
  monitorInterval: 15s
  scrapeTimeout: 10s


c.执行如下命令,创建PolarDBXMonitor对象。

kubectl apply -f polardbx-monitor.yaml


4.访问Grafana Dashboard。

a.默认情况下执行如下命令,将Grafana端口转发到本地。

kubectl port-forward svc/grafana -n polardbx-monitor 3000 --address=0.0.0.0

b.打开您的本机浏览器,在地址栏中访问http://<ECS弹性IP>:3000。

说明:您需要将<ECS弹性IP>替换为云产品资源列表中的ECS弹性IP。

c.在Grafana Dashboard登录页面,输入默认的用户名admin和密码admin,单击Log in

7.jpg

d.在设置密码页面,自定义admin用户的新密码,单击Submit

8.jpg


返回如下页面,您即可在在PolarDB-X Dashboard页面查看QPS,RT等指标。

9.jpg

本文来源:PolarDB-X知乎号

相关实践学习
函数计算X RDS PostgreSQL,基于LLM大语言模型构建AI知识库
基于ChatGLM6B 大语言模型构建AI知识库问答应用。答疑群17125058181
相关文章
|
26天前
|
存储 SQL 安全
应用案例|开源 PolarDB-X 在互联网安全场景的应用实践
中盾集团采用PolarDB-X云原生分布式数据库开源版本,有效解决了大数据量处理、复杂查询以及历史数据维护等难题,实现了业务的高效扩展与优化。
|
1月前
|
存储 Cloud Native 关系型数据库
PolarDB 高可用架构设计与实践
【8月更文第27天】 在现代互联网应用中,数据库作为核心的数据存储层,其稳定性和可靠性尤为重要。阿里云的 PolarDB 作为一款云原生的关系型数据库服务,提供了高可用、高性能和自动化的特性,适用于各种规模的应用。本文将详细介绍 PolarDB 的高可用架构设计,并探讨其实现数据安全性和业务连续性的关键技术。
52 0
|
8天前
|
Prometheus 监控 Cloud Native
介绍如何使用Prometheus进行监控
介绍如何使用Prometheus进行监控
33 3
|
12天前
|
Prometheus 监控 Cloud Native
docker安装prometheus+Granfan并监控容器
【9月更文挑战第14天】本文介绍了在Docker中安装Prometheus与Grafana并监控容器的步骤,包括创建配置文件、运行Prometheus与Grafana容器,以及在Grafana中配置数据源和创建监控仪表盘,展示了如何通过Prometheus抓取数据并利用Grafana展示容器的CPU使用率等关键指标。
|
29天前
|
Prometheus 监控 Cloud Native
自定义grafana_table(数据源Prometheus)
综上所述,自定义 Grafana 表格并将 Prometheus 作为数据源的关键是理解 PromQL 的查询机制、熟悉 Grafana 面板的配置选项,并利用 Grafana 强大的转换和自定义功能使数据展示更为直观和有洞见性。随着对这些工具更深入的了解,您将可以创建出更高级的监控仪表盘,以支持复杂的业务监控需求。
79 1
|
30天前
|
Prometheus 监控 Cloud Native
prometheus学习笔记之Grafana安装与配置
prometheus学习笔记之Grafana安装与配置
|
30天前
|
Prometheus 监控 数据可视化
Grafana 插件生态系统:扩展你的监控能力
【8月更文第29天】Grafana 是一个流行的开源平台,用于创建和共享统计数据的仪表板和可视化。除了内置的支持,Grafana 还有一个强大的插件生态系统,允许用户通过安装插件来扩展其功能。本文将介绍一些 Grafana 社区提供的插件,并探讨它们如何增强仪表盘的功能性。
79 1
|
30天前
|
存储 Prometheus 监控
Grafana 与 Prometheus 集成:打造高效监控系统
【8月更文第29天】在现代软件开发和运维领域,监控系统已成为不可或缺的一部分。Prometheus 和 Grafana 作为两个非常流行且互补的开源工具,可以协同工作来构建强大的实时监控解决方案。Prometheus 负责收集和存储时间序列数据,而 Grafana 则提供直观的数据可视化功能。本文将详细介绍如何集成这两个工具,构建一个高效、灵活的监控系统。
132 1
|
30天前
|
Prometheus 监控 Cloud Native
Grafana 入门指南:快速上手监控仪表盘
【8月更文第29天】Grafana 是一款开源的数据可视化和监控工具,它允许用户轻松地创建美观的仪表盘和图表,以便更好地理解和监控数据。无论您是需要监控系统性能指标、应用程序日志还是业务关键指标,Grafana 都能提供灵活而强大的解决方案。本指南将带领您快速上手 Grafana,包括安装、配置以及创建第一个监控面板。
106 1
|
30天前
|
Prometheus 监控 Cloud Native
Spring Boot 性能护航!Prometheus、Grafana、ELK 组合拳,点燃数字化时代应用稳定之火
【8月更文挑战第29天】在现代软件开发中,保证应用性能与稳定至关重要。Spring Boot 作为流行的 Java 框架,结合 Prometheus、Grafana 和 ELK 可显著提升监控与分析能力。Prometheus 负责收集时间序列数据,Grafana 将数据可视化,而 ELK (Elasticsearch、Logstash、Kibana)则管理并分析应用日志。通过具体实例演示了如何在 Spring Boot 应用中集成这些工具:配置 Prometheus 获取度量信息、Grafana 显示结果及 ELK 分析日志,从而帮助开发者快速定位问题,确保应用稳定高效运行。
47 1

热门文章

最新文章

相关产品

  • 云原生数据库 PolarDB