从SQL Server CloudDBA 看云数据库智能化

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 Tair(兼容Redis),内存型 2GB
简介: 阿里云数据库推出 SQL Server CloudDBA 服务,标志着阿里云数据库全面支持CloudDBA服务,云数据库CloudDBA 专注于帮助用户用好数据库,一站式解决性能优化、问题诊断等多个方面的问题,SQL Server CloudDBA 简单易用重点突出,重点解决空间管理、缺失索引、索引碎片、TOP SQL等核心问题。
最近阿里云数据库SQL Server在控制台推出了CloudDBA服务,重点解决数据库性能优化领域问题,帮助客户更好的使用好RDS数据库,这是继MySQL之后第二个关系型数据库提供类似的服务。

数据库可认为是系统运行的关键,因为它存储数据,确保事务一致性,是企业的核心资产。一般大型企业都有专职的数据库管理员(DBA)来负责数据库的日常运维管理,这些管理工作的好坏其实非常依赖于DBA的经验。一个好的DBA,至少要负责如下几个方面的工作:
1. 基础运维管理工作:包括安装、卸载、升级、打patch、基础联通配置等方面的工作。
2. 安全管理工作:防火墙、连接管理、密码管理、权限管理等。要特别说明下,千万不要小看安全管理工作,如密码管理,看似是个简单的问题,但是实际中有很多DBA设置数据库的密码是非常简单的数字,这样基本上黑客就可以利用撞库的方式获取到你的密码。同样地很多程序为了图方便、甚至包括DBA,都直接拿sa账号作为业务账号使用,这可谓完全没有安全意识,尤其是SQL Server数据库,个人认为这样的DBA是应该要被开除的。
3. 稳定性管理工作:如搭建高可用环境并且定期演练,备份和恢复其实既属于安全也属于稳定性相关工作,并不代表备份的结果肯定能恢复出来的,恢复过程的时效如何都是需要反复演练的,所以一个好的DBA会让公司业务行云流水,没有异常、或者异常期间处理有节有奏是一个DBA优秀素质的体现。
4. 性能优化管理工作:这是一个非常大的课题,涵盖了DBA理解数据库的方方面面,也是DBA综合素质的直接体现,不同的DBA在这块的处理结果会给业务带来直接不同的效果,因此性能优化话题永远是DBA圈的热门话题,各种语句写法、各种索引使用技巧、各种信息分析排查充分体现了经验的丰富度。这块内容重要性的直接体现,就是对数据库使用效能,做的好可以为公司节省一大笔钱。之前本人在公司作为DBA服务的时候,衡量是否称职的标准,是否对数据库每日三餐,即在早上、下午下班前、夜里高峰时,查看下数据库的性能包括,并且给出诊断意见,这件事情不做,基本上算是在偷懒了。
5. 数据管理和业务逻辑处理工作:这是一块繁重的工作,DBA除了支持日常业务研发的表、数据等变更需求外,有些场景还需要DBA编写存储过程、数据库函数等来完成,这里的DBA其实是半个开发了。

在云时代,阿里云提供的关系型数据库服务(RDS)解放了大量繁重的DBA日常工作,包括基础运维管理的琐事、稳定性管理、安全管理等多个方面都有涉及,同时云上数据库数据管理工具DMS提供了可视化的数据管理界面,方便DBA日常数据管理,大大提升了性能。但是云数据和传统自建机房的自建数据库是一样的,它们一直都是在运行的,它们在运行过程中会遇到很多问题的,我暂且统称为“运行态管理工作”,主要包含的就是性能优化相关的管理工作,而也是基于此考虑在2017年阿里云数据库推出了CloudDBA服务,首先服务于MySQL引擎。一年以后,SQL Server 版 CloudDBA正式发布,标志着阿里云数据库已经开始多引擎内置“运行态管理”功能,重点是性能优化、当然也会涉及到监控管理、安全管理等和运行有关的部分。

为了表述方便,我将以SQL Server CloudDBA作为蓝本来阐述阿里云数据库CloudDBA产品思路和它集中要解决的问题是什么。
CloudDBA设计之初就是希望能够帮助客户更好的用好云数据库,因为阿里云有数十万数据库实例,几乎遇到所有的客户使用场景,大量的案例沉淀,以及阿里云数据库专家积年累月的大量经验,我们希望将这些内容能够通过系统的方式智能的赋能给客户,因此CloudDBA首先是智能化的,或者流行的说法是AI的。其次,我们希望能够站在用户面来看待解决问题的方式,也就是以此从看问题、解决问题、智能修复问题三个角度来帮助客户。看问题的目标就是要将数据库的相关信息全部展现给用户,并且要努力做到一眼就能发现问题;解决问题的做法是将阿里云数据库专家处理这类问题的方法建议,形成脚本提供给用户,用户根据建议脚本去数据库执行就能解决问题;至于智能修复问题,是CloudDBA的终极服务状态,系统会智能识别问题点,然后自动启动内部免疫系统直接去修复此类问题,举个例子针对异常高峰和客户的设置,直接在代理层控制异常SQL的流量来自动保护数据库。因此CloudDBA是个体系化的系统,它不仅仅是数据库里面hack一个小组件,下图就是CloudDBA的基础组件描述图。

35e985541099aa8bc7054140191f9c2356e511c9

CloudDBA底层依赖于阿里云采集的大量数据库运行态数据,涵盖数据库引擎的运行数据,业务SQL语句,OS运行数据,主机数据和从应用到数据库的全链路数据,然后整合数据,以不同的引擎为业务场景服务。特别要介绍的就是规则引擎,这里面沉淀了阿里云数十万的运行案例,它是不断完善和进化,数据会不停的补充进去。另外,智能化的自治系统是CloudDBA对外服务的终极状态,它会在背后默默为客户修复数据库的问题,甚至在问题未发生时候就完成修复。

具体解决哪些实际的问题?如果是一位资深DBA可能会依据自己的经验列出一二三,一个新DBA的话可能就无法准确回答了。而我们做产品优先去解决客户哪些问题,是依据于多年数据而来的,在我们对外服务中,由于云数据库已经很好的解决了数据库基础运维工作,数据库运行中CPU使用率过高、IOPS过高、查询语句性能底下(返回很慢)、应用超时卡顿、空间异常等占云数据库运行问题95%。SQL Server CloudDBA本版本优先解决此类问题,你可以很轻松的:
1. 依层次管理和查看空间问题,从实例到数据库到表甚至到索引,帮助有效规划空间,除了能够及时解决问题外,有效的利用空间也能够降低成本。
2. 性能的杀手和利器都是索引,为此我们专门对缺失索引、索引利用率、索引碎片等设置了专门模块,用户可以轻松的发现缺失哪些索引,哪些索引利用率不高综合考虑可以删除,哪些索引碎片太多影响性能,正常情况采取SQL Server CloudDBA的建议,性能会带来急速提升。
3. 统计信息:统计信息的好坏,直接关系到底层引擎选择执行 SQL 语句的最佳路径,根据建议及时更新优化统计信息,可始终保障数据库处于最优状态,未来这块功能会优先走向自治,彻底解除人工干预的烦恼。
4. SQL 语句:包含了当前实例的SQL语句运行情况,以及历史SQL语句的运行情况,历史SQL语句来自SQL审计日志,记录的信息更全面。SQL语句从多个维度将TOP SQL展示给用户,如包括CPU开销、执行时间、返回行、逻辑读、物理读、逻辑写等。以此根据建议优化SQL语句,就能很好的提高性能。

深入解读下CloudDBA的输出展示,从客户资源使用视角展示优化项(如空间管理、SQL语句),每个优化项页面,头部是概览信息方便用户急速判断是否有问题是否需要优化、中间是形象化的图信息从比较宏观的角度展示本优化项的各方面信息,最后一部分则包含一个更细粒度的表格,具体的详情都在表格中列出来,如空间管理中列出具体数据的空间使用情况,用户点击进去还能看到具体数据文件的空间使用情况,而且针对每项目都提供对应的解决方案,如缺失索引中直接给出要创建索引的SQL语句,用户只需要在维护时间段执行对应的语句就可以完成优化。未来会引入命令执行系统,用户只要同意执行,后台就会自动按指令运行,大大简化操作流程。
另外,在SQL Server CloudDBA中引入了一个贴心功能,保存成pdf,可以迅速将本优化项目页保存成一份pdf文件,方便传阅分享。

SQL Server CloudDBA以用户视角,提供专家级建议方案,以帮助用户最优的使用好云数据,这是产品的源动力。
相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情: https://www.aliyun.com/product/rds/sqlserver
目录
相关文章
|
15天前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
2月前
|
SQL 数据库
数据库数据恢复—SQL Server数据库报错“错误823”的数据恢复案例
SQL Server附加数据库出现错误823,附加数据库失败。数据库没有备份,无法通过备份恢复数据库。 SQL Server数据库出现823错误的可能原因有:数据库物理页面损坏、数据库物理页面校验值损坏导致无法识别该页面、断电或者文件系统问题导致页面丢失。
101 12
数据库数据恢复—SQL Server数据库报错“错误823”的数据恢复案例
|
6天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第8天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统准备、配置安装源、安装 SQL Server 软件包、运行安装程序、初始化数据库以及配置远程连接。通过这些步骤,您可以顺利地在 CentOS 系统上部署和使用 SQL Server 2019。
|
7天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第7天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统要求检查与准备、配置安装源、安装 SQL Server 2019、配置 SQL Server 以及数据库初始化(可选)。通过这些步骤,你可以成功安装并初步配置 SQL Server 2019,进行简单的数据库操作。
|
21天前
|
存储 数据挖掘 数据库
数据库数据恢复—SQLserver数据库ndf文件大小变为0KB的数据恢复案例
一个运行在存储上的SQLServer数据库,有1000多个文件,大小几十TB。数据库每10天生成一个NDF文件,每个NDF几百GB大小。数据库包含两个LDF文件。 存储损坏,数据库不可用。管理员试图恢复数据库,发现有数个ndf文件大小变为0KB。 虽然NDF文件大小变为0KB,但是NDF文件在磁盘上还可能存在。可以尝试通过扫描&拼接数据库碎片来恢复NDF文件,然后修复数据库。
|
1月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云瑶池在2024云栖大会上重磅发布由Data+AI驱动的多模数据管理平台DMS:OneMeta+OneOps,通过统一、开放、多模的元数据服务实现跨环境、跨引擎、跨实例的统一治理,可支持高达40+种数据源,实现自建、他云数据源的无缝对接,助力业务决策效率提升10倍。
|
2月前
|
SQL 关系型数据库 MySQL
创建包含MySQL和SQLServer数据库所有字段类型的表的方法
创建一个既包含MySQL又包含SQL Server所有字段类型的表是一个复杂的任务,需要仔细地比较和转换数据类型。通过上述方法,可以在两个数据库系统之间建立起相互兼容的数据结构,为数据迁移和同步提供便利。这一过程不仅要考虑数据类型的直接对应,还要注意特定数据类型在不同系统中的表现差异,确保数据的一致性和完整性。
32 4
|
2月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云数据库重磅升级!元数据服务OneMeta + OneOps统一管理多模态数据
|
2月前
|
SQL 存储 数据管理
SQL Server数据库
SQL Server数据库
58 11
|
2月前
|
关系型数据库 MySQL 网络安全
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")