基于SLS构建RDS审计合规监控-阿里云开发者社区

开发者社区> 烨陌> 正文

基于SLS构建RDS审计合规监控

简介: 数据库是企业业务的数据核心,其安全方面的问题在传统环境中已经成为泄漏和被篡改的重要根源。因此,对数据库的操作行为尤其是全量 SQL 执行记录的审计日志,就显得尤为重要。
+关注继续查看

背景

数据库是企业业务的数据核心,其安全方面的问题在传统环境中已经成为泄漏和被篡改的重要根源。因此,对数据库的操作行为尤其是全量 SQL 执行记录的审计日志,就显得尤为重要。
SLS联合RDS推出RDS SQL审计功能,将RDS SQL审计日志实时投递到SLS中;SLS提供实时查询、可视化分析、告警等功能。
RDS SQL审计日志记录了对数据库执行的所有操作,这些信息是系统通过网络协议分析所得,对系统CPU消耗极低,不影响SQL执行效率。RDS SQL审计日志包括但不限于如下操作:
• 数据库的登录和退出操作。
• DDL(Data Definition Language)操作:对数据库结构定义的SQL语句,包括CREATE、ALTER DROP、TRUNCATE、COMMENT等。
• DML(Data Manipulation Language)操作:SQL操作语句,包括SELECT、INSERT、UPDATE、DELETE等。
• 其他SQL执行操作,包括任何其他通过SQL执行的控制,例如回滚、控制等。
• SQL执行的延迟、执行结果、影响的行数等信息。
此外,SLS还针对RDS的操作合规进行监控,及时发现RDS的配置异常,确保数据库安全。

RDS日志审计--采集

目前RDS SQL审计日志采集到SLS有两种方式:
• 云产品采集渠道
优点:少量且同地域实例采集场景下配置简单。
缺点:不支持跨地域、跨账号;不支持实例动态发现。如果需要跨地域跨账号,需要自建数据加工任务。
• 日志审计渠道
优点:
支持跨账号、跨地域中心化采集,便于审计报表分析。
支持实例发现,一键开启自动采集;并支持通过采集策略控制采集范围。
缺点:
需要AK授权或手动授权来开启日志审计APP。
会自动开启采集实例的SQL洞察功能,且不支持自动关闭。如果需要关闭SQL洞察,需要首先整体关闭日志审计RDS采集功能或者通过采集策略控制实例不采集,然后到RDS控制台逐个实例关闭SQL洞察。

image.png

云产品采集渠道

单账号同地域采集场景(只能将RDS审计日志采集到同地域的日志库中)

• SLS控制台首页“接入数据”区域,选择“RDS 审计”。下文以采集张家口实例为例说明。
image.png
• 因为采集的实例位于张家口,所以需要在张家口新建或者选择已存在的project及logstore。
• 注意:采集的RDS实例审计日志仅支持同地域采集。
image.png
• “数据源配置”页,完成RAM授权后可以查看张家口所有的RDS实例信息,默认日志投递功能是关闭的。之后可以根据日志采集需求,勾选相应的“开通投递”按钮,开启对应实例的日志投递功能。
image.png

• 至此就完成了SQL审计日志的采集开启,跳转到上述配置的logstore下即可查看RDS实例日志。
image.png

跨地域、跨账号采集场景

因为云产品采集渠道有只能将RDS审计日志采集到同地域的日志库的限制,所以要打破这个限时实现跨账号跨地域采集,就必须要自建跨域或者跨账号数据加工任务。
因为自建数据加工任务需要比较复杂的授权,这里不再详细介绍。如有需要,详见:
1、配置自定义角色授权
2、最佳实践:跨地域传输数据
3、最佳实践:多目标Logstore数据分发 中的“跨账号分发”部分。
image.png

由此可见,云产品采集渠道仅仅在简单采集场景下具有便捷采集的优势,但是在处理跨地域、跨账号采集时不仅数据同步链路较长,而且还需要比较复杂的授权过程;而且当实例变更(甚至新的实例出现)时,需要手动维护同步链路,维护成本极高。而日志审计渠道恰恰可以很好的解决跨地域、跨账号采集,实例变更维护成本高的痛点。

日志审计采集渠道

日志审计授权

建议使用阿里云RAM用户操作。
• 创建阿里云RAM用户,并赋予该用户AliyunRAMFullAccess、AliyunLogFullAccess权限,创建AK。
• 登录上述RAM用户,在SLS控制台选择“日志审计服务”。
image.png

• 首次进入需要进行授权才能开启。这里输入第一步创建的AK,并选择审计日志存储的中心Project地域即可。
image.png
• 如果出现如下页面说明已经授权完成。之后就可以根据采集日志的需要开启对应的云产品日志,例如这里需要采集操作审计(Actiontrail)日志及RDS SQL审计日志。
image.png

配置SQL审计采集

本文重点描述如何开启RDS SQL审计日志并通过采集策略管理日志采集范围。SQL审计日志开启首先需要进行采集策略配置。完整的语法说明详见采集策略文档。这里列出一些常用的策略方案。
• 采集特定区域的实例日志。例如:只采集杭州、上海的实例。
image.png

• 不采集特定标签的实例。例如:给测试实例打上type标签取值test。
image.png

• 只采集限定的实例日志。
image.png

SQL审计

image.png

RDS日志审计--报表

基于SLS的SQL审计日志提供了3张审计报表:
• RDS审计中心:主要展现了所有数据库的SQL执行指标、分布、趋势等信息。例如:PV、UV、操作数据库/数据表等的统计。
• RDS审计安全中心:主要展现了所有数据库的失败SQL和危险SQL,以及大批量删除或修改事件的详情、分布和趋势等。
• RDS审计性能中心:主要展现了所有数据库的具体性能指标,例如SQL执行峰值、SQL执行的平均时间、慢SQL的具体分布与来源等。

RDS日志审计--告警

SLS日志审计新发布了内置告警规则,其中针对于RDS SQL审计提供了19条内置规则(后续还会不断扩展)。

规则查看

通过SLS首页-> 日志审计服务-> 控制台左侧审计告警 -> 规则配置/告警规则,就可以进入审计告警规则配置页面。规则主要分为两类:
• SQL审计类规则(RDS安全):主要针对SQL的执行异常进行监控。例如,慢SQL、或批量删除等。
• 前提:通过日志审计APP开通RDS SQL审计日志采集。
• RDS操作合规规则:主要是基于CIS规则,对RDS的操作配置进行监控。
• 前提:通过日志审计APP开通Actiontrail操作日志采集。
image.png

告警配置

行动策略配置
• 钉钉渠道通知
• 下图样例:所有告警都发送钉钉通知。
image.png

• 短信/语音渠道通知:
• 下图样例:当告警级别大于严重时,向“SLS审计内置用户组”发送语音告警。具体的通知人的电话等情况,详见创建用户和用户组。
image.png

告警样例

接下来,我们用两个具体的例子来介绍RDS审计告警的使用。

SQL审计样例--慢SQL审计

开启告警
• 根据用户需要设置告警参数。例如,慢SQL检测阈值,过滤白名单等。
• 点击开启按钮,告警即可开启。
image.png

image.png

构造异常
• 测试数据集

# 表结构
mysql> desc test;
+-----------------+------------------+------+-----+---------+----------------+
| Field           | Type             | Null | Key | Default | Extra          |
+-----------------+------------------+------+-----+---------+----------------+
| id              | int(10) unsigned | NO   | PRI | NULL    | auto_increment |
| title           | varchar(100)     | NO   | MUL | NULL    |                |
| author          | varchar(40)      | NO   |     | NULL    |                |
| submission_date | date             | YES  | MUL | NULL    |                |
+-----------------+------------------+------+-----+---------+----------------+
4 rows in set (0.04 sec)

# 数据
mysql> select * from test limit 5;
+----+--------+---------+-----------------+
| id | title  | author  | submission_date |
+----+--------+---------+-----------------+
|  1 | title1 | author1 | 2021-01-12      |
|  2 | title1 | author1 | 2021-01-12      |
|  3 | title1 | author1 | 2021-01-12      |
|  4 | title1 | author1 | 2021-01-12      |
|  5 | title1 | author1 | 2021-01-12      |
+----+--------+---------+-----------------+

• 慢SQL

# 使用索引字段group by
mysql> select title, count(1) as cnt from test where submission_date='2021-01-12' group by title;
+--------+-------+
| title  | cnt   |
+--------+-------+
| title1 | 59392 |
| title2 |  8448 |
+--------+-------+
2 rows in set (0.06 sec)

# 索引字段经过运算后group by,使得索引失效。
mysql> select title, count(1) as cnt from test where day(submission_date)=12 group by title;
+--------+-------+
| title  | cnt   |
+--------+-------+
| title1 | 59392 |
| title2 |  8448 |
+--------+-------+
2 rows in set (0.58 sec)

• 告警监控到慢SQL,并发起告警通知。
image.png

RDS操作合规样例--实例访问白名单异常配置

image.png

参考

• 日志审计文档(含使用前需知)
• 日志审计告警文档(目录)

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
通过Flink实时构建搜索引擎的索引
1.背景介绍 搜索引擎的出现大大降低了人们寻找信息的难度,已经深入到生活与工作的方方面面,简单列举几个应用如下: 互联网搜索,如谷歌,百度等; 垂直搜索,如淘宝、天猫的商品搜索; 站内搜索,各个内容网站提供的站内搜索服务; 企业内部搜索,员工查询企业内部信息; 广告投放,根据投放上下文检索出对应的广告主和广告内容; 搜索引擎的关键是让用户找到其所需信息,其整体架构如下: 从图示可知,一个搜索引擎从大的方面来看主要包括两部分,一部分是提供在线的搜索服务,一部分要把原始数据已离线的方式建立索引,建立索引是信息可搜索的前提。
14419 0
在 GitHub 上构建一个看上去正规的 Golang 项目
接触 golang 时间很长,但是真正动手开始写 golang 也就是在最近。跟着我在 GitHub 上构建一个看上去正规的 Golang 项目。
5554 0
阿里配管专家解读:如何最优成本搭建非标准的iOS构建集群
在移动物联网大潮中iOS构建的重要性日益突出,如何能提供稳定的iOS构建服务?中大型的企业如何搭建、管理这种非标准的iOS构建集群?如何能做到集群搭建的成本最优?本文以alibaba集团的场景和大家分享iOS构建集群搭建的方案选型。
6389 0
《构建实时机器学习系统》一1.8 实时机器学习模型的生存期
本节书摘来自华章出版社《构建实时机器学习系统》一 书中的第1章,第1.8节,作者:彭河森 汪涵,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1815 0
+关注
15
文章
0
问答
来源圈子
更多
阿里云存储基于飞天盘古2.0分布式存储系统,产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等,充分满足用户数据存储和迁移上云需求,连续三年跻身全球云存储魔力象限四强。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载