PinSQL (ICDE 2022) 在阿里云DAS产品创新与应用

简介: 导读:最后分享一下ICDE 2022 PinSQL: Pinpoint Root Cause SQLs to Resolve Performance Issues in Cloud Databases 关于根因定位的paper,本文主要讨论如何在大规模云数据库下经常遇到CPU/锁/活跃会话/主备延迟对造成这些现象的SQL Queries进行精确定位的问题,方法多种多样,思想殊途同归,先占个位,不

导读:

最后分享一下ICDE 2022 PinSQL: Pinpoint Root Cause SQLs to Resolve Performance Issues in Cloud Databases 关于根因定位的paper,

本文主要讨论如何在大规模云数据库下经常遇到CPU/锁/活跃会话/主备延迟对造成这些现象的SQL Queries进行精确定位的问题,方法多种多样,思想殊途同归,先占个位,不仔细整理了,感谢参与的同学的contribution

Main Contributions:

1. 基于全量SQL模版数据,构建了根因SQL请求/被影响SQL以及数据库性能指标的关联关系模型,对比了Classification-based/TopN-based/Auto-regression等方法,产品上替代了AWS /Azure 等友商性能洞察功能的传统Top-N排序定位方法,解决了在复杂业务请求场景下根因SQL难以精确定位的问题;

2. 基于数据库全量请求明细数据,在不开启perf schema的情况下实现了AWS performance insight 的Average Active Session(AAS)精确定量推理估算,消除了为了计算AAS而开启perf schema对数据库带来的性能损耗问题

3. 提出了Autonomous 根因诊断框架,实现了从自感知/自诊断/自优化/自修复整个流程的开放可编排定义。支持数据库多种根因定位场景的动态扩展(负载变化/请求变化/烂SQL/锁等待/主备延迟等)以及自动修复场景(限流/SQL优化/AutoScale),解决了根因定位新场景不断迭代过程中,场景支持效率问题

[文件: PinSQL ICDE2022.pdf] 请在PC端预览或下载

Motiviation:

 Motivation 1:

How to effectively obtain the individual active session of templates without interfering the DB in-stance performance?

如何推导mysql.active_session 与 sql_rt 的数量公式关系

Motivation 2:

How to distinguish Root Cause SQLs from massive SQLs through the located High-impact SQLs?

如果区分根因SQL和被影响SQL

Motivation 3:

How to efficiently react to anomalies caused by SQL queries?

对比传统排序算法,SQL定位实验结果远超排序算法

Related Work:

相关场景案例

   

相关实践学习
使用DAS实现数据库自动扩容和回缩
暂无
相关文章
|
4月前
|
SQL 关系型数据库 分布式数据库
PolarDB产品使用问题之如何关闭或停用自治服务DAS
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
5月前
|
机器学习/深度学习 人工智能 运维
阿里云DAS-您的专属AI专家,引领数据库自治驾驶
阿里云数据库自治服务(DAS)可以被誉为“您的专属AI专家”,它确实在引领数据库进入自治驾驶的时代。 DAS的核心优势在于其结合了多年大规模数据库集群运维调优的专家经验与机器学习等智能化技术。这
|
SQL 弹性计算 人工智能
《阿里云认证的解析与实战-关系型数据库ACP认证》——数据库生态工具—— 一、数据库自治服务DAS
《阿里云认证的解析与实战-关系型数据库ACP认证》——数据库生态工具—— 一、数据库自治服务DAS
|
弹性计算 编解码 负载均衡
阿里云数据库自治服务DAS降价17-82%
阿里云数据库自治服务DAS降价17-82%,阿里云产品大规模调价,核心云产品价格全线下调,技术红利释放核心产品最高降幅50%,以下产品的价格调整将于2023年5月7日生效,最终以产品详情页实际情况为准,阿里云百科分享阿里云官网发布的降价产品及降价幅度说明:
184 0
|
SQL Cloud Native 大数据
阿里云新品发布会周刊第107期 丨 数据库自治服务DAS年度重磅发布
新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新!关注更多新品发布会!
332 0
阿里云新品发布会周刊第107期 丨  数据库自治服务DAS年度重磅发布
|
SQL 运维 自动驾驶
访阿里云数据库产品专家胡航丽:数据库自动驾驶平台DAS 重磅助力数据库领域智能未来
作为数据库领域的佼佼者,阿里云的重要研究领域,数据库自动驾驶,也同样成果显著。阿里云数据库产品专家胡航丽,在2020数据技术嘉年华上,做了前端分享和技术诠释:利用数据库自动驾驶技术,让中小企业共享阿里巴巴优势的技术资源,得到数据库的强技术支撑,保障系统高效、稳定,为用户创造更大价值。
959 0
访阿里云数据库产品专家胡航丽:数据库自动驾驶平台DAS 重磅助力数据库领域智能未来
|
6月前
|
运维 安全 关系型数据库
参加数据库管理工具DAS训练营,赢取国潮保温杯和阿里云定制双肩包!
本训练营带您简单了解数据库自治与云安全服务,数据库自治服务提供云上RDS、PolarDB、NoSQL、ADB等数据库7*24小时异常检测、SQL自优化、安全合规审计、弹性伸缩、数据自治、锁分析等亮点功能。一站式自动化、数字化DAS集成平台,助力您畅享DBA运维智能化。
|
6月前
|
SQL 运维 数据库
数据库自治专家DAS在手,安心过春节!
春节期间,企业数据库可能面临的问题高发在稳定性、性能和安全性等方面,比如:会遭遇人手不足,IT支持可能会因运维工程师休假、交通通勤而受到限制,也会存在远端接入不方便、通信不畅通、处理不及时等问题。除此之外,大规模增长的商业活动促销和交易量波动增加,交易系统有可能凌晨依然存在高峰负载压力等问题,这对数据库性能是一场不小的考验,上述种种问题,都需要更精确的、更全方位的守护系统。通过DAS智能助手,能够实现7*24小时的守护,接触DBA焦虑,保障系统平稳有序运行。
422 2
|
运维 关系型数据库 分布式数据库
使用DAS实现数据库异常检测
本场景主要介绍如何使用DAS异常检测功能,对数据库PolarDB MySQL 进行异常检测,能够更为及时地发现数据库的异常变化提升数据库系统的稳定性,提高运维效率。 背景知识
|
SQL 关系型数据库 分布式数据库
使用DAS实现数据库自动SQL优化
本场景介绍如何使用DAS实现数据库自动SQL优化。