使用DAS实现数据库异常检测

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
简介: 本场景主要介绍如何使用DAS异常检测功能,对数据库PolarDB MySQL 进行异常检测,能够更为及时地发现数据库的异常变化提升数据库系统的稳定性,提高运维效率。背景知识

使用DAS实现数据库异常检测

1. 购买DAS专业版并新增实例

登录DAS专业版购买页面,根据界面提示选择对应参数,购买DAS专业版服务。

DAS控制台DAS专业版管理页面,单击页面右上角新增实例。

在选择实例的搜索框里输出需要使用DAS专业版管理的PolarDB实例ID,勾选已查询出来的实例,添加至右侧区域。

说明:DAS专业版会自动打开PolarDB的SQL洞察,DAS将赠送给您5GB SQL洞察存储空间,超出部分按照0.008元/GB/小时收费,日志至少保存30天。

单击确定后页面会提示新增成功,可到已使用实例列表页面查看。

2. 开启DAS自治服务

登录PolarDB MySQL控制台,单击集群列表,选择已创建的集群ID,进入集群详情页。

在左侧导航栏选择一键诊断,在自治中心页签下,单击右侧自治功能开关进入设置页面。

开启自治服务。

自治服务

触发条件

自动索引创建和删除

当打开开启自治服务开关后,默认开启SQL诊断

自动限流

可根据业务场景自定义,本次触发条件以下设置为例

  • CPU利用率 > 80%且活跃会话数量 > 20。
  • 持续时间>2分钟。
  • 可限流时间段 00:00-23:59。
  • 最大限流时间 10 分钟。
  • 同时KILL执行中的异常SQL。

自动扩容

可根据业务场景自定义,本次触发条件以以下设置为例

  • CPU利用率 >= 70%。
  • 升配实例规格上限是 88核710G。
  • 只读节点数量上限是 3 个。
  • 观察窗口时间 30 分钟。

自动回缩

自动扩容后,发现在观测窗口内,满足自动回缩的条件,进行自动回缩操作;本次静默期 30 分钟。

单击确定。

3. 构造数据

登录PolarDB MySQL控制台,单击集群ID,进入集群详情页后,单击数据库管理-创建数据库,完成数据库的创建。

说明:为案例展示需要,本案例中数据库的名称定为das_test。

通过DMS登录数据库:在PolarDB MySQL控制台,进入实例详情页,单击SQL查询,跳转DMS控制台后输入账号和密码。

说明:首次使用DMS连接PolarDB MySQL实例时,系统会提示您授权白名单,单击确认后即可完成授权。

成功登录后,直接打开数据库的SQL Console面板,输入以下语句,创建PolarDB MySQL表。

1)执行如下语句创建一张students表。


         

2)如下两条INSERT INTO语句各执行一次,写入两条数据。


         

3)重复执行如下语句建议执行20次以上,生成200万行数据。


         

4. 模拟压测

本步骤需要在ECS控制台中,登录ECS实例部署压测程序,并使用该程序模拟流量注入。

登录下载地址 ,下载压测程序。

开通ECS服务器,本次案例要求配置如下:

地域与可用区:与已创建的polarDB MySQL实例一致。

实例规格:建议选择计算型、4vCPU 8GiB以上规格。

镜像:CentOS 7.8 64位

系统盘 :选择ESSD云盘 40GB

公网IP:勾选分配公网IPV4地址

带宽计费模式:选择按使用流量

带宽峰值:设置为10Mbps。

登录凭证

密钥对:选择已有的密钥对,或者单击创建密钥对即时创建密钥对。

自定义密码:输入并确认密码。使用用户名和密码登录实例时,Linux实例默认用户名为root,Windows实例默认用户名为administrator

创建后设置:在实例创建完成后,自行绑定密钥对或者重置实例密码。

其余配置不做要求,选择默认即可。

PolarDB MySQL控制台的集群详情中,将ECS的IP地址添加至PolarDB MySQL的白名单中。

登录ECS。

1)登录ECS控制台,选择实例,点击开通的实例ID名称。

2)单击远程连接

3)可选择Workbench远程连接方式,单击立即登录

执行如下命令创建目录。


         

将下载的das-testbed-simple.zip 压缩包上传至ECS 实例的 /usr/local/src 目录下。

Windows系统下载使用MobaXterm工具登录ECS地址上传。

Macos系统使用终端上传。

在src 目录下执行如下命令解压das-testbed-simple.zip。


         

依次执行如下命令编辑data-source.properties,复制PolarDB的集群地址替换该文件里的占位符,并设置账户和密码。

1)在PolarDB集群的基本信息页面,获取集群链接地址。

2)修改配置文件data-source.properties。


         

按i进行修改,修改完成后按Esc再输入:wq保存退出。

说明:标红位置参数按照实际环境配置

jdbc.url:

*********.rwlb.rds.aliyuncs.com:PolarDB MySQL集群的链接地址。

das_test:数据库名称。

jdbc.username:账户名,登录PolarDB控制台,在配置与管理 > 账号管理页面,进行查看。

jdbc.password:账户密码。

在 /usr/local/src目录下执行以下命令,克隆一个目录。


         

修改das-testbed-simple/config/test-scenario-config.json的内容如下:


         

按i进行修改,修改完成后按Esc再输入:wq保存退出。


         

说明:该配置测试程序以 20个线程并发执行 update 语句20分钟,把 PolarDB主库的 CPU持续打高。

修改das-testbed-simple1/config/test-scenario-config.json的内容如下:


         

按i进行修改,修改完成后按Esc再输入:wq保存退出。


         

说明:该配置测试程序以 10个线程并发执行慢查询select语句20分钟,把PolarDB只读库或者主库的CPU持续打高。

通过 yum命令在 ECS上安装 java。


         

在 2个终端窗口分别运行以下2条命令,对 PolarDB进行高并发压测。


         

5. 异常检测

登录PolarDB MySQL控制台

在左侧菜单单击一键诊断。

在自治中心页签下查看异常事件优化事件弹性伸缩事件

向下拖动页面,查看每个事件的描述和详情。

单击异常检测事件的详情,查看异常的指标。

实验链接:https://developer.aliyun.com/adc/scenario/e28e742918ac4d7a8d19854c55caf9e7

相关实践学习
使用DAS实现数据库自动扩容和回缩
暂无
相关文章
|
6月前
|
Kubernetes 关系型数据库 MySQL
ChaosBlade常见问题之数据库进行故障注入报错ibdata1文件异常如何解决
ChaosBlade 是一个开源的混沌工程实验工具,旨在通过模拟各种常见的硬件、软件、网络、应用等故障,帮助开发者在测试环境中验证系统的容错和自动恢复能力。以下是关于ChaosBlade的一些常见问题合集:
135 1
|
6月前
|
运维 安全 关系型数据库
参加数据库管理工具DAS训练营,赢取国潮保温杯和阿里云定制双肩包!
本训练营带您简单了解数据库自治与云安全服务,数据库自治服务提供云上RDS、PolarDB、NoSQL、ADB等数据库7*24小时异常检测、SQL自优化、安全合规审计、弹性伸缩、数据自治、锁分析等亮点功能。一站式自动化、数字化DAS集成平台,助力您畅享DBA运维智能化。
|
1月前
|
Java 关系型数据库 数据库连接
SpringBoot项目使用yml文件链接数据库异常
【10月更文挑战第3天】Spring Boot项目中数据库连接问题可能源于配置错误或依赖缺失。YAML配置文件的格式不正确,如缩进错误,会导致解析失败;而数据库驱动不匹配、连接字符串或认证信息错误同样引发连接异常。解决方法包括检查并修正YAML格式,确认配置属性无误,以及添加正确的数据库驱动依赖。利用日志记录和异常信息分析可辅助问题排查。
182 10
|
1月前
|
Java 关系型数据库 MySQL
SpringBoot项目使用yml文件链接数据库异常
【10月更文挑战第4天】本文分析了Spring Boot应用在连接数据库时可能遇到的问题及其解决方案。主要从四个方面探讨:配置文件格式错误、依赖缺失或版本不兼容、数据库服务问题、配置属性未正确注入。针对这些问题,提供了详细的检查方法和调试技巧,如检查YAML格式、验证依赖版本、确认数据库服务状态及用户权限,并通过日志和断点调试定位问题。
|
2月前
|
Oracle 关系型数据库 数据库
Oracle数据恢复—异常断电导致Oracle数据库数据丢失的数据恢复案例
Oracle数据库故障: 机房异常断电后,Oracle数据库启库报错:“system01.dbf需要更多的恢复来保持一致性,数据库无法打开”。数据库没有备份,归档日志不连续。用户方提供了Oracle数据库的在线文件,需要恢复zxfg用户的数据。 Oracle数据库恢复方案: 检测数据库故障;尝试挂起并修复数据库;解析数据文件。
|
5月前
|
机器学习/深度学习 人工智能 运维
阿里云DAS-您的专属AI专家,引领数据库自治驾驶
阿里云数据库自治服务(DAS)可以被誉为“您的专属AI专家”,它确实在引领数据库进入自治驾驶的时代。 DAS的核心优势在于其结合了多年大规模数据库集群运维调优的专家经验与机器学习等智能化技术。这
|
6月前
|
Java 关系型数据库 MySQL
【JAVA进阶篇教学】第八篇:Java链接MySql数据库异常
【JAVA进阶篇教学】第八篇:Java链接MySql数据库异常
|
6月前
|
SQL Oracle 关系型数据库
调整OceanBase数据库的系统时间,即使只调小1秒导致异常并不是正常现象
【2月更文挑战第21天】调整OceanBase数据库的系统时间,即使只调小1秒导致异常并不是正常现象
232 7
|
6月前
|
SQL 监控 关系型数据库
解密SQL性能异常事件及阿里云数据库的性能调优实践
作为开发者想必都知道数据库是现代应用的核心组件之一,而且在当今互联网时代之下,SQL查询的性能直接影响系统的整体性能,它的性能对于系统的稳定性和响应速度至关重要。那么本文就来讨论一下SQL性能异常的排查和优化方法,包括我个人印象深刻的SQL性能异常事件,以及分享一下使用阿里云数据库产品/工具进行SQL性能调优的经验和心得体会。
181 1
解密SQL性能异常事件及阿里云数据库的性能调优实践
|
6月前
|
SQL 运维 数据库
数据库自治专家DAS在手,安心过春节!
春节期间,企业数据库可能面临的问题高发在稳定性、性能和安全性等方面,比如:会遭遇人手不足,IT支持可能会因运维工程师休假、交通通勤而受到限制,也会存在远端接入不方便、通信不畅通、处理不及时等问题。除此之外,大规模增长的商业活动促销和交易量波动增加,交易系统有可能凌晨依然存在高峰负载压力等问题,这对数据库性能是一场不小的考验,上述种种问题,都需要更精确的、更全方位的守护系统。通过DAS智能助手,能够实现7*24小时的守护,接触DBA焦虑,保障系统平稳有序运行。
422 2

相关产品

  • 数据库自治服务