如何在PolarDB-X中优化慢SQL

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: 《PolarDB-X动手实践》系列第六期,本场景带您体验如何使用PolarDB-X提供的解决慢SQL的相关工具。

如何在PolarDB-X中优化慢SQL


1.  创建实验资源

开始实验之前,您需要先创建ECS实例资源。

  1. 在实验室页面,单击创建资源
  2. (可选)在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如IP地址、用户信息等)。

说明:资源创建过程需要1~3分钟。

2.  连接PolarDB-X集群

本步骤将指导您如何连接通过k8s部署的PolarDB-X集群。

说明:本场景ECS实例已为您提前安装完成通过k8s部署的PolarDB-X集群。

  1. 执行如下命令,切换到账号galaxykube。
su galaxykube
  1. 执行如下命令,启动一个minikube。

说明:这里我们使用了阿里云的minikube镜像源以及USTC提供的docker镜像源来加速镜像的拉取。

minikube start --cpus 4 --memory 12288 --image-mirror-country cn --registry-mirror=https://docker.mirrors.sjtug.sjtu.edu.cn

返回结果如下,表示minikube已经正常运行。

  1. 执行如下命令,查看PolarDB-X集群登录密码。
kubectl get secret polardb-x -o jsonpath="{.data['polardbx_root']}" | base64 -d - | xargs echo "Password: "

返回结果如下,您可以查看到PolarDB-X集群登录密码。

  1. 执行如下命令,将PolarDB-X集群端口转发到3306端口。

说明:使用MySQL Client方式登录通过k8s部署的PolarDB-X集群前,您需要进行获取PolarDB-X集群登录密码和端口转发。

kubectl port-forward svc/polardb-x 3306
  1. 在实验页面,单击右上角的 图标,创建新的终端二。

  1. 执行如下命令,连接PolarDB-X集群。

说明:

  • 您需要将替换为实际获取到的PolarDB-X集群登录密码。
  • 如遇到mysql:  [Warning] Using a password on the command line interface can be  insecure.ERROR 2013 (HY000): Lost connection to MySQL server at 'reading  initial communication packet', system error: 0报错,请您稍等一分钟,在终端一种重新执行转发端口命令,在终端二中重新执行连接PolarDB-X集群命令即可。
mysql -h127.0.0.1 -P3306 -upolardbx_root -p<PolarDB-X集群登录密码>

3.  启动业务

本步骤将指导您如何使用Sysbench Select场景模拟业务流量。

  1. 准备压测数据。
  1. 执行如下SQL语句,创建压测数据库sysbench_test。
CREATE DATABASE sysbench_test;
  1. 执行如下SQL语句,使用压测数据库sysbench_test。
USE sysbench_test;
  1. 在实验页面,单击右上角的 图标,创建新的终端三。

  1. 执行如下命令,切换到账号galaxykube。
su galaxykube
  1. 执行如下命令,进入到/home/galaxykube目录。
cd
  1. 执行如下命令,创建准备压测数据的sysbench-prepare.yaml文件。
vim sysbench-prepare.yaml
  1. i键进入编辑模式,将如下代码复制到文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。
apiVersion: batch/v1
kind: Job
metadata:
  name: sysbench-prepare-data-test
  namespace: default
spec:
  backoffLimit: 0
  template:
    spec:
      restartPolicy: Never
      containers:
        - name: sysbench-prepare
          image: severalnines/sysbench
          env:
            - name: POLARDB_X_USER
              value: polardbx_root
            - name: POLARDB_X_PASSWD
              valueFrom:
                secretKeyRef:
                  name: polardb-x
                  key: polardbx_root
          command: [ 'sysbench' ]
          args:
            - --db-driver=mysql
            - --mysql-host=$(POLARDB_X_SERVICE_HOST)
            - --mysql-port=$(POLARDB_X_SERVICE_PORT)
            - --mysql-user=$(POLARDB_X_USER)
            - --mysql_password=$(POLARDB_X_PASSWD)
            - --mysql-db=sysbench_test
            - --mysql-table-engine=innodb
            - --rand-init=on
            - --max-requests=1
            - --oltp-tables-count=1
            - --report-interval=5
            - --oltp-table-size=160000
            - --oltp_skip_trx=on
            - --oltp_auto_inc=off
            - --oltp_secondary
            - --oltp_range_size=5
            - --mysql_table_options=dbpartition by hash(`id`)
            - --num-threads=1
            - --time=3600
            - /usr/share/sysbench/tests/include/oltp_legacy/parallel_prepare.lua
            - run
  1. 执行如下命令,运行准备压测数据的sysbench-prepare.yaml文件,初始化测试数据。
kubectl apply -f sysbench-prepare.yaml
  1. 执行如下命令,获取任务进行状态。
kubectl get jobs

返回结果如下,请您耐心等待大约1分钟,当任务状态COMPLETIONS为1/1时,表示数据已经初始化完成。

  1. 启动压测流量。
  1. 执行如下命令,创建启动压测的sysbench-select.yaml文件。
vim sysbench-select.yaml
  1. i键进入编辑模式,将如下代码复制到文件中,然后按ECS退出编辑模式,输入:wq后按下Enter键保存并退出。
apiVersion: batch/v1
kind: Job
metadata:
  name: sysbench-point-select-k-test
  namespace: default
spec:
  backoffLimit: 0
  template:
    spec:
      restartPolicy: Never
      containers:
        - name: sysbench-point-select-k
          image: severalnines/sysbench
          env:
            - name: POLARDB_X_USER
              value: polardbx_root
            - name: POLARDB_X_PASSWD
              valueFrom:
                secretKeyRef:
                  name: polardb-x
                  key: polardbx_root
          command: [ 'sysbench' ]
          args:
            - --db-driver=mysql
            - --mysql-host=$(POLARDB_X_SERVICE_HOST)
            - --mysql-port=$(POLARDB_X_SERVICE_PORT)
            - --mysql-user=$(POLARDB_X_USER)
            - --mysql_password=$(POLARDB_X_PASSWD)
            - --mysql-db=sysbench_test
            - --mysql-table-engine=innodb
            - --rand-init=on
            - --max-requests=0
            - --oltp-tables-count=1
            - --report-interval=5
            - --oltp-table-size=32000000
            - --oltp_skip_trx=on
            - --oltp_auto_inc=off
            - --oltp_secondary
            - --oltp_range_size=5
            - --mysql-ignore-errors=all
            - --num-threads=8
            - --time=3600
            - --random_points=1
            - /usr/share/sysbench/tests/include/oltp_legacy/select_random_points.lua
            - run
  1. 执行如下命令,运行启动压测的sysbench-select.yaml文件,开始压测。
kubectl apply -f sysbench-select.yaml
  1. 执行如下命令,查找压测脚本运行的POD。
kubectl get pods

返回结果如下, 以‘sysbench-point-select-k-test-’开头的POD即为目标POD。

  1. 执行如下命令,查看QPS等信息。

说明:您需要将命令中的目标POD替换为以‘sysbench-point-select-k-test-’开头的POD。

kubectl logs -f 目标PO

4.  体验SQL限流和SQL Advisor

本步骤将指导您体验SQL限流和SQL Advisor。

说明:本步骤有关SQL语句的操作都在终端二窗口中操作,查看QPS等信息在终端三窗口中操作,终端一窗口只负责PolarDB-X集群端口转发。

  1. SQL限流。 SQL限流是PolarDB-X提供的对符合特定规则的SQL进行限制的功能。在本实验场景中假设步骤二中发起的Sysbench Select流量严重影响了其他业务,所以我们首先用SQL限流对Select SQL进行限流。
  1. 执行如下SQL语句,查看当前正在运行的请求。
show full processlist where info is not null

返回结果如下,您可查看到有如下SQL正在执行。

  1. 执行如下SQL语句,创建针对这条SQL的限流规则。
create ccl_rule block_select on sysbench_test.* to 'polardbx_root'@'%' for select filter by keyword('pad') with max_concurrency=0;

在终端二中执行对select sql进行拦截的SQL语句后,在终端三您可查看到出现大量的SQL报错统计。

  1. 执行如下SQL语句,查看SQL限流具体拦截情况。
show ccl_rules;

返回结果如下,您可查看SQL限流具体拦截情况

  1. 用SQL Advisor优化慢SQL。 在对慢SQL进行限制后,我们的系统就可以恢复正常状态了,那么接下来就可以对SQL进行优化。PolarDB-X 提供内置的SQL Advisor功能,可以针对某条SQL给出具体的优化建议。
  1. 执行如下,使用SQL Advisor功能分析SQL语句。
explain advisor SELECT id, k, c, pad from sbtest1 where k in(10)\G

返回结果如下,在ADVISE_INDEX部分,就是SQL Advisor给出的建议。

  1. 执行SQL Advisor给出的建议SQL语句。
ALTER TABLE `sysbench_test`.`sbtest1` ADD GLOBAL INDEX `__advise_index_gsi_sbtest1_k`(`k`) DBPARTITION BY HASH(`k`);
  1. 行如下SQL语句,解除SQL限流。
drop ccl_rule block_select;

终端二中执行解除SQL限流的SQL语句后,在终端三您可查看到qps在优化后进行了大幅度的提升。

5.  了解更多

如果您想了解更多有关PolarDB-X调优知识,详情请参见如下内容。

实验链接:https://developer.aliyun.com/adc/scenario/e7cd646ddc4c43479cb51321d6607ff0

相关实践学习
快速体验PolarDB开源数据库
本实验环境已内置PostgreSQL数据库以及PolarDB开源数据库:PolarDB PostgreSQL版和PolarDB分布式版,支持一键拉起使用,方便各位开发者学习使用。
相关文章
|
14天前
|
SQL Oracle 数据库
使用访问指导(SQL Access Advisor)优化数据库业务负载
本文介绍了Oracle的SQL访问指导(SQL Access Advisor)的应用场景及其使用方法。访问指导通过分析给定的工作负载,提供索引、物化视图和分区等方面的优化建议,帮助DBA提升数据库性能。具体步骤包括创建访问指导任务、创建工作负载、连接工作负载至访问指导、设置任务参数、运行访问指导、查看和应用优化建议。访问指导不仅针对单条SQL语句,还能综合考虑多条SQL语句的优化效果,为DBA提供全面的决策支持。
44 11
|
2月前
|
SQL 缓存 数据库
SQL慢查询优化策略
在数据库管理和应用开发中,SQL查询的性能优化至关重要。慢查询优化不仅可以提高应用的响应速度,还能降低服务器负载,提升用户体验。本文将详细介绍针对SQL慢查询的优化策略。
|
2月前
|
SQL 存储 BI
gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句
gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句
|
2月前
|
SQL 数据库
gbase 8a 数据库 SQL优化案例-关联顺序优化
gbase 8a 数据库 SQL优化案例-关联顺序优化
|
2月前
|
SQL 缓存 监控
SQL性能提升指南:五大优化策略与十个实战案例
在数据库性能优化的世界里,SQL优化是提升查询效率的关键。一个高效的SQL查询可以显著减少数据库的负载,提高应用响应速度,甚至影响整个系统的稳定性和扩展性。本文将介绍SQL优化的五大步骤,并结合十个实战案例,为你提供一份详尽的性能提升指南。
55 0
|
8月前
|
安全 druid Java
Seata 1.8.0 正式发布,支持达梦和 PolarDB-X 数据库
Seata 1.8.0 正式发布,支持达梦和 PolarDB-X 数据库
634 10
Seata 1.8.0 正式发布,支持达梦和 PolarDB-X 数据库
|
8月前
|
存储 DataWorks 监控
DataWorks,一个 polar db 有上万个数据库,解决方案
DataWorks,一个 polar db 有上万个数据库,解决方案
|
SQL 存储 Web App开发
PolarDB-X 分布式数据库中的外键
外键是关系型数据库中非常便利的一种功能,它通过一个或多个列为两张表建立连接,从而允许跨表交叉引用相关数据。外键通过约束来保持数据的一致性,通过级联来同步数据在多表间的更新和删除。在关系数据库系统中,大多数表都遵循外键的概念。
|
6月前
|
缓存 运维 关系型数据库
数据库容灾 | MySQL MGR与阿里云PolarDB-X Paxos的深度对比
经过深入的技术剖析与性能对比,PolarDB-X DN凭借其自研的X-Paxos协议和一系列优化设计,在性能、正确性、可用性及资源开销等方面展现出对MySQL MGR的多项优势,但MGR在MySQL生态体系内也占据重要地位,但需要考虑备库宕机抖动、跨机房容灾性能波动、稳定性等各种情况,因此如果想用好MGR,必须配备专业的技术和运维团队的支持。 在面对大规模、高并发、高可用性需求时,PolarDB-X存储引擎以其独特的技术优势和优异的性能表现,相比于MGR在开箱即用的场景下,PolarDB-X基于DN的集中式(标准版)在功能和性能都做到了很好的平衡,成为了极具竞争力的数据库解决方案。
|
5月前
|
存储 缓存 负载均衡
【PolarDB-X 技术揭秘】Lizard B+tree:揭秘分布式数据库索引优化的终极奥秘!
【8月更文挑战第25天】PolarDB-X是阿里云的一款分布式数据库产品,其核心组件Lizard B+tree针对分布式环境优化,解决了传统B+tree面临的数据分片与跨节点查询等问题。Lizard B+tree通过一致性哈希实现数据分片,确保分布式一致性;智能分区实现了负载均衡;高效的搜索算法与缓存机制降低了查询延迟;副本机制确保了系统的高可用性。此外,PolarDB-X通过自适应分支因子、缓存优化、异步写入、数据压缩和智能分片等策略进一步提升了Lizard B+tree的性能,使其能够在分布式环境下提供高性能的索引服务。这些优化不仅提高了查询速度,还确保了系统的稳定性和可靠性。
106 5

相关产品

  • 云原生分布式数据库 PolarDB-X