新一代的数据库SQL审计服务 - SQL洞察

简介: 背景 随着云数据库业务规模不断的扩大,用户对数据库安全,性能诊断,异常行为报警等高级功能的需求越来越迫切。从客户第一的角度,我们投入大量的资源来开发新一代的数据库审计产品,SQL洞察,期望可以提供给用户更好的体验,让用户因为我们有这样的高附加值的产品而选择阿里云的数据库服务。 RDS数据库SQL审计服务大致经过几个阶段: 做到scale out,从几千实例,到几万实例,到几十万实例;从一

背景

随着云数据库业务规模不断的扩大,用户对数据库安全,性能诊断,异常行为报警等高级功能的需求越来越迫切。
从客户第一的角度,我们投入大量的资源来开发新一代的数据库审计产品,SQL洞察,期望可以提供给用户更好的体验,让用户因为我们有这样的高附加值的产品而选择阿里云的数据库服务。

RDS数据库SQL审计服务大致经过几个阶段:

  • 做到scale out,从几千实例,到几万实例,到几十万实例;从一个区,多个区,从中心化到单元化,到全球化
  • 做到数据不丢,从采集端,到流式作业,到存储,如果保证数据的At-least Once和Exactly Once
  • 做好用户体验,用户可以用服务来满足安全审计的需求和定位性能问题

前两个阶段,我们这几年通过技术和架构的演进,已经基本解决;之前也有做过相关的分享,就不再赘述。

我们就重点谈谈我们这期SQL洞察,如何解决用户体验的问题。

 

用户痛点

当前用户对于SQL审计主要的需求主要分为以下几类:

精确追踪和定位,当出现安全事件或性能问题,用户可以精确的根据多个维度,ip,用户,会话,数据库表列等定位到想找的SQL;需要更为灵活,好用的查询页面

性能诊断,根据SQL审计的统计信息,如sql访问量,sql执行延迟等信息,来更高效的优化数据库性能;需要更为有效的性能问题定位方式

审计需求,对于金融行业,需要保留长时间的审计数据,便于监管部门审计;需要提供用户可配置的保留时间和导出,转储的功能

 

SQL洞察服务

针对用户的需求和问题,SQL洞察在这版当中提供如下的功能:

SQL搜索功能

当前版本中,我们提供更为灵活强大的搜索功能,包括提供根据执行状态,耗时,操作类型等来精确的检索sql,

同时在SQL明细列表中提供按列排序的能力,

 

性能诊断

在SQL洞察中,我们加入更方便的性能诊断工具

首先我们可以看出该实例的访问趋势,包含各种操作类型的比例,这样就比较容易看出,安全和性能风险
比如突然有大量的删除操作,可能就是高危的;扫描行大幅增加,可能带来性能问题

再者,我们提供模板的视图,我们要找出root cause,到底是哪种sql导致了这个性能问题

这里从两个维度来看SQL模板扫描行数和平均耗时,理论上两者应该成线性的关系,这样就比较容易找出异常的SQL模板

这里还能看出不同的SQL操作的分布,非常直观

在上图中框选就可以看到相应的SQL模板的列表,这个可以根据各个字段排序,从而找到性能问题的root cause

这里我们列出占比,包括执行次数占比,耗时占比等,可以更好的定位SQL模板对这个实例性能的真实影响程度

 

审计需求

首先我们可以提供实例级别配置不同的保留时间,这个对后端存储有比较高的要求

再者,这里提供更快捷和方便的导出和转储的功能,

导出可以重用搜索的查询条件,并且可以灵活选择需要导出的列,大大提升了用户体验

 

总结

相较于旧版本的SQL审计服务,SQL洞察当前版本侧重解决用户最为care一些问题和需求。

该产品当前在快速迭代中,后续我们的重点会放在提供更方便和更强大的性能诊断,以及提供更完善的安全审计功能。

欢迎大家试用,提供宝贵意见。

 

 

 

 

 

 

 

 

 

目录
相关文章
|
6月前
|
SQL 机器学习/深度学习 人工智能
从“写SQL”到“聊数据”:NL2SQL如何用自然语言解锁数据库?
本文系统性地阐述了自然语言转SQL(NL2SQL) 技术如何让非技术背景的业务分析师实现数据自助查询,从而提升数据驱动决策的效率与准确性。
从“写SQL”到“聊数据”:NL2SQL如何用自然语言解锁数据库?
|
5月前
|
SQL 人工智能 Linux
SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
560 5
SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
|
4月前
|
SQL 存储 监控
SQL日志优化策略:提升数据库日志记录效率
通过以上方法结合起来运行调整方案, 可以显著地提升SQL环境下面向各种搜索引擎服务平台所需要满足标准条件下之数据库登记作业流程综合表现; 同时还能确保系统稳健运行并满越用户体验预期目标.
316 6
|
6月前
|
SQL 人工智能 Java
用 LangChain4j+Ollama 打造 Text-to-SQL AI Agent,数据库想问就问
本文介绍了如何利用AI技术简化SQL查询操作,让不懂技术的用户也能轻松从数据库中获取信息。通过本地部署PostgreSQL数据库和Ollama模型,结合Java代码,实现将自然语言问题自动转换为SQL查询,并将结果以易懂的方式呈现。整个流程简单直观,适合初学者动手实践,同时也展示了AI在数据查询中的潜力与局限。
803 8
|
6月前
|
SQL 人工智能 Linux
SQL Server 2025 RC0 发布 - 从本地到云端的 AI 就绪企业数据库
SQL Server 2025 RC0 发布 - 从本地到云端的 AI 就绪企业数据库
347 5
|
7月前
|
SQL 缓存 监控
SqlRest让SQL秒变Http API,还支持20+数据库(含国产数据库)
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
7月前
|
SQL 存储 数据库
SQL Server Management Studio (SSMS) 21 - 微软数据库管理工具
SQL Server Management Studio (SSMS) 21 - 微软数据库管理工具
1224 0
|
7月前
|
SQL XML Java
配置Spring框架以连接SQL Server数据库
最后,需要集成Spring配置到应用中,这通常在 `main`方法或者Spring Boot的应用配置类中通过加载XML配置或使用注解来实现。
602 0
|
9月前
|
SQL 人工智能 数据库
SQL Server 2025 - 从本地到云端的 AI 就绪企业数据库
SQL Server 2025 - 从本地到云端的 AI 就绪企业数据库
717 0
SQL Server 2025 - 从本地到云端的 AI 就绪企业数据库
|
10月前
|
SQL 关系型数据库 MySQL
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL 数据库 SQL 语句调优方法详解(2-1)
本文深入介绍 MySQL 数据库 SQL 语句调优方法。涵盖分析查询执行计划,如使用 EXPLAIN 命令及理解关键指标;优化查询语句结构,包括避免子查询、减少函数使用、合理用索引列及避免 “OR”。还介绍了索引类型知识,如 B 树索引、哈希索引等。结合与 MySQL 数据库课程设计相关文章,强调 SQL 语句调优重要性。为提升数据库性能提供实用方法,适合数据库管理员和开发人员。