实践教程之基于Prometheus+Grafana的PolarDB-X监控体系

本文涉及的产品
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: PolarDB-X 为了方便用户体验,提供了免费的实验环境,您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验,PolarDB-X 也提供免费的视频课程,手把手教你玩转 PolarDB-X 分布式数据库。

本期实验将指导您使用Prometheus+Grafana搭建PolarDB-X监控体系

本期免费实验地址:

https://developer.aliyun.com/adc/scenario/96435ae76c8442d4adedd0478f766e74

本期教学视频地址:

https://developer.aliyun.com/learning/course/1032/detail/15161


前置准备

假设已经根据前一讲内容完成了PolarDB-X的搭建部署,可以成功链接上PolarDB-X数据库。

PolarDB-X:实践教程之如何快速安装部署PolarDB-X


启动模拟业务流量

本步骤将指导您如何使用Sysbench Select场景模拟业务流量。

1.准备压测数据。

a.执行如下SQL语句,创建压测库。

create database sysbench_test;

b.输入exit退出数据库。

1.jpg

c.执行如下命令,切换到账号galaxykube。

su galaxykube

d.执行如下命令,进入到/home/galaxykube目录。

cd

e.执行如下命令,创建压测数据的配置文件sysbench-prepare.yaml。

vim sysbench-prepare.yaml


f.按i键进入编辑模式,将如下代码复制到sysbench-prepare.yaml文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。

apiVersion: batch/v1
kind: Job
metadata:
  name: sysbench-prepare-data-test
  namespace: default
spec:
  backoffLimit: 0
  template:
    spec:
      restartPolicy: Never
      containers:
        - name: sysbench-prepare
          image: severalnines/sysbench
          env:
            - name: POLARDB_X_USER
              value: polardbx_root
            - name: POLARDB_X_PASSWD
              valueFrom:
                secretKeyRef:
                  name: polardb-x
                  key: polardbx_root
          command: [ 'sysbench' ]
          args:
            - --db-driver=mysql
            - --mysql-host=$(POLARDB_X_SERVICE_HOST)
            - --mysql-port=$(POLARDB_X_SERVICE_PORT)
            - --mysql-user=$(POLARDB_X_USER)
            - --mysql_password=$(POLARDB_X_PASSWD)
            - --mysql-db=sysbench_test
            - --mysql-table-engine=innodb
            - --rand-init=on
            - --max-requests=1
            - --oltp-tables-count=1
            - --report-interval=5
            - --oltp-table-size=160000
            - --oltp_skip_trx=on
            - --oltp_auto_inc=off
            - --oltp_secondary
            - --oltp_range_size=5
            - --mysql_table_options=dbpartition by hash(`id`)
            - --num-threads=1
            - --time=3600
            - /usr/share/sysbench/tests/include/oltp_legacy/parallel_prepare.lua
            - run


g.执行如下命令,运行准备压测数据的配置文件sysbench-prepare.yaml,初始化测试数据。

kubectl apply -f sysbench-prepare.yaml

h.执行如下命令,获取任务进行状态。

kubectl get jobs

返回结果如下,请您耐心等待大约1分钟,当任务状态COMPLETIONS为1/1时,表示数据已经初始化完成。

2.png

2.启动压测流量。

a.执行如下命令,创建启动压测的配置文件sysbench-select.yaml。

vim sysbench-select.yaml


b.按i键进入编辑模式,将如下代码复制到文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。

apiVersion: batch/v1
kind: Job
metadata:
  name: sysbench-point-select-k-test
  namespace: default
spec:
  backoffLimit: 0
  template:
    spec:
      restartPolicy: Never
      containers:
        - name: sysbench-point-select-k
          image: severalnines/sysbench
          env:
            - name: POLARDB_X_USER
              value: polardbx_root
            - name: POLARDB_X_PASSWD
              valueFrom:
                secretKeyRef:
                  name: polardb-x
                  key: polardbx_root
          command: [ 'sysbench' ]
          args:
            - --db-driver=mysql
            - --mysql-host=$(POLARDB_X_SERVICE_HOST)
            - --mysql-port=$(POLARDB_X_SERVICE_PORT)
            - --mysql-user=$(POLARDB_X_USER)
            - --mysql_password=$(POLARDB_X_PASSWD)
            - --mysql-db=sysbench_test
            - --mysql-table-engine=innodb
            - --rand-init=on
            - --max-requests=0
            - --oltp-tables-count=1
            - --report-interval=5
            - --oltp-table-size=32000000
            - --oltp_skip_trx=on
            - --oltp_auto_inc=off
            - --oltp_secondary
            - --oltp_range_size=5
            - --mysql-ignore-errors=all
            - --num-threads=8
            - --time=3600
            - --random_points=1
            - /usr/share/sysbench/tests/include/oltp_legacy/select.lua
            - run

c.执行如下命令,运行启动压测的配置文件sysbench-oltp.yaml,开始压测。

kubectl apply -f sysbench-select.yaml

d.执行如下命令,查找压测脚本运行的POD。

kubectl get pods

返回结果如下, 以‘sysbench-point-select-k-test-’开头的POD即为目标POD。

3.jpg

e.执行如下命令,查看QPS等流量数据。

说明:您需要将命令中的目标POD替换为以‘sysbench-point-select-k-test’开头的POD。

kubectl logs -f 目标POD

返回结果如下,您可查看到QPS等流量数据。

4.jpg


开启监控

本步骤将指导您如何安装PolarDB-X Monitor组件、开启PolarDB-X监控并访问Grafana Dashboard。

1.在实验页面,单击右上角的+


图标,创建新的终端三。

5.jpg


2.安装PolarDB-X Monitor组件。

a.执行如下命令,切换到账号galaxykube。

su galaxykube

b.执行如下命令,进入到/home/galaxykube目录。

cd

c.执行如下命令,创建一个名为polardbx-monitor的命名空间。

kubectl create namespace polardbx-monitor

d.执行如下命令,添加PolarDB-X的Helm chart仓库。

helm repo add polardbx https://polardbx-charts.oss-cn-beijing.aliyuncs.com

e.由于在minikube上安装Prometheus+Grafana可能出现资源不够的情况,需要准备一个values.yaml的文件调整这两个组件的规格。执行如下命令,创建values.yaml文件。

vim values.yaml

f.按i键进入编辑模式,将如下代码复制到values.yaml文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。

monitors:
 prometheus:
   resources:
     requests:
       cpu: 1000m
       memory: 2Gi
     limits:
       cpu: 2000m
       memory: 8Gi

g.执行如下命令,安装PolarDB-X Monitor。

helm install --namespace polardbx-monitor polardbx-monitor polardbx/polardbx-monitor -f values.yaml

h.执行如下命令,检查相关组件是否正常,确认所有的pod都处于Running状态。

kubectl get pods -n polardbx-monitor

返回结果如下,请您耐心等待大约一分钟,当所有pod的STATUS为Running时,表示PolarDB-X Monito安装完成。

6.jpg


3.开启PolarDB-X监控。

PolarDB-X 集群的监控采集功能默认是关闭的,需要为您需要监控的PolarDBXCluster创建PolarDBXMonitor对象进行开启。

a.执行如下命令,创建polardbx-monitor.yaml文件。

vim polardbx-monitor.yaml

b.按i键进入编辑模式,将如下代码复制到polardbx-monitor.yaml文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。

apiVersion: polardbx.aliyun.com/v1
kind: PolarDBXMonitor
metadata:
  name: polardb-x-monitor
spec:
  clusterName: polardb-x
  monitorInterval: 15s
  scrapeTimeout: 10s


c.执行如下命令,创建PolarDBXMonitor对象。

kubectl apply -f polardbx-monitor.yaml


4.访问Grafana Dashboard。

a.默认情况下执行如下命令,将Grafana端口转发到本地。

kubectl port-forward svc/grafana -n polardbx-monitor 3000 --address=0.0.0.0

b.打开您的本机浏览器,在地址栏中访问http://<ECS弹性IP>:3000。

说明:您需要将<ECS弹性IP>替换为云产品资源列表中的ECS弹性IP。

c.在Grafana Dashboard登录页面,输入默认的用户名admin和密码admin,单击Log in

7.jpg

d.在设置密码页面,自定义admin用户的新密码,单击Submit

8.jpg


返回如下页面,您即可在在PolarDB-X Dashboard页面查看QPS,RT等指标。

9.jpg

本文来源:PolarDB-X知乎号

相关文章
|
7月前
|
关系型数据库 分布式数据库 PolarDB
PolarDB 开源基础教程系列 7.2 应用实践之 跨境电商场景
本文介绍了如何在跨境电商场景中快速判断商标或品牌侵权,避免因侵权带来的法律纠纷。通过创建品牌表并使用PostgreSQL的pg_trgm插件和GIN索引,实现了高性能的字符串相似匹配功能。与传统方法相比,PolarDB|PostgreSQL的方法不仅提升了上万倍的查询速度,还解决了传统方法难以处理的相似问题检索。具体实现步骤包括创建品牌表、插入随机品牌名、配置pg_trgm插件及索引,并设置相似度阈值进行高效查询。此外,文章还探讨了字符串相似度计算的原理及应用场景,提供了进一步优化和扩展的方向。
193 11
|
7月前
|
SQL 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.5 应用实践之 TPCH性能优化
PolarDB在复杂查询、大数据量计算与分析场景的测试和优化实践.
213 7
|
7月前
|
搜索推荐 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.3 应用实践之 精准营销场景
本文介绍了基于用户画像的精准营销技术,重点探讨了如何通过标签组合快速圈选目标人群。实验分为三部分: 1. **传统方法**:使用字符串存储标签并进行模糊查询,但性能较差,每次请求都需要扫描全表。 2. **实验1**:引入`pg_trgm`插件和GIN索引,显著提升了单个模糊查询条件的性能。 3. **实验2**:改用数组类型存储标签,并结合GIN索引加速包含查询,性能进一步提升。 4. **实验3**:利用`smlar`插件实现近似度过滤,支持按标签重合数量或比例筛选。
146 3
|
7月前
|
人工智能 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.4 应用实践之 AI大模型外脑
PolarDB向量数据库插件通过实现通义大模型AI的外脑,解决了通用大模型无法触达私有知识库和产生幻觉的问题。该插件允许用户将新发现的知识和未训练的私有知识分段并转换为向量,存储在向量数据库中,并创建索引以加速相似搜索。当用户提问时,系统将问题向量化并与数据库中的向量进行匹配,找到最相似的内容发送给大模型,从而提高回答的准确性和相关性。此外,PolarDB支持多种编程语言接口,如Python,使数据库具备内置AI能力,极大提升了数据处理和分析的效率。
270 4
|
9月前
|
存储 数据采集 Prometheus
Grafana Prometheus Altermanager 监控系统
Grafana、Prometheus 和 Alertmanager 是一套强大的开源监控系统组合。Prometheus 负责数据采集与存储,Alertmanager 处理告警通知,Grafana 提供可视化界面。本文简要介绍了这套系统的安装配置流程,包括各组件的下载、安装、服务配置及开机自启设置,并提供了访问地址和重启命令。适用于希望快速搭建高效监控平台的用户。
433 20
|
8月前
|
存储 SQL 缓存
PolarDB-X 在 ClickBench 数据集的优化实践
本文介绍了 PolarDB-X 在 ClickBench 数据集上的优化实践,PolarDB-X 通过增加优化器规则、优化执行器层面的 DISTINCT 和自适应两阶段 AGG、MPP 压缩等手段,显著提升了在 ClickBench 上的性能表现,达到了业内领先水平。
|
9月前
|
Prometheus 监控 Cloud Native
Prometheus+Grafana监控Linux主机
通过本文的步骤,我们成功地在 Linux 主机上使用 Prometheus 和 Grafana 进行了监控配置。具体包括安装 Prometheus 和 Node Exporter,配置 Grafana 数据源,并导入预设的仪表盘来展示监控数据。通过这种方式,可以轻松实现对 Linux 主机的系统指标监控,帮助及时发现和处理潜在问题。
715 7
|
9月前
|
SQL 关系型数据库 分布式数据库
基于PolarDB的图分析:银行金融领域图分析实践
本文介绍了如何使用阿里云PolarDB PostgreSQL版及其图数据库引擎(兼容Apache AGE,A Graph Extension)进行图数据分析,特别针对金融交易欺诈检测场景。PolarDB PostgreSQL版支持图数据的高效处理和查询,包括Cypher查询语言的使用。文章详细描述了从数据准备、图结构创建到具体查询示例的过程,展示了如何通过图查询发现欺诈交易的关联关系,计算交易间的Jaccard相似度,从而进行欺诈预警。
基于PolarDB的图分析:银行金融领域图分析实践
|
9月前
|
Prometheus 运维 监控
Prometheus+Grafana+NodeExporter:构建出色的Linux监控解决方案,让你的运维更轻松
本文介绍如何使用 Prometheus + Grafana + Node Exporter 搭建 Linux 主机监控系统。Prometheus 负责收集和存储指标数据,Grafana 用于可视化展示,Node Exporter 则采集主机的性能数据。通过 Docker 容器化部署,简化安装配置过程。完成安装后,配置 Prometheus 抓取节点数据,并在 Grafana 中添加数据源及导入仪表盘模板,实现对 Linux 主机的全面监控。整个过程简单易行,帮助运维人员轻松掌握系统状态。
1143 3
|
9月前
|
SQL 人工智能 自然语言处理
PolarDB-PG AI最佳实践 1:基础能力实践
Polar_AI 是 PolarDB 数据库的 AI 扩展,集成了先进的人工智能模型和算法,使数据库能够执行机器学习和自然语言处理任务。它支持 PostgreSQL 及 Oracle 兼容版本,通过标准 SQL 轻松调用 AI 模型,具备简单易用、灵活可定制、无缝数据融合、数据安全和高性能等优势。用户可以通过 SQL 快速实现文本转向量、情感分类等功能,并能自定义扩展 AI 模型。

相关产品

  • 云原生数据库 PolarDB
  • 推荐镜像

    更多