操作审计日志分析实战一:使用 SQL 分析投递到 OSS 中的操作审计日志

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 操作审计(ActionTrail)是阿里云提供的云账号资源操作记录的查询和投递服务,可用于安全分析、资源变更追踪以及合规性审计等场景。我们推荐您创建跟踪将操作日志投递到日志服务(SLS)和对象存储(OSS)中:在 SLS 中短期存储日志,用于查询分析、配置监控报警;在更低成本的 OSS 中存储更长周期的历史日志。当您有需求查询分析历史操作日志时,您可能会苦恼于如何对 OSS 中存储的这些历史操作日志进行高效的查询和分析。本文章将引导您通过简单的配置,借助 DLA(数据湖分析)产品,实现通过 SQL 来查询和分析投递到 OSS Bucket 中的操作审计日志。

简单了解原理

(1)在操作审计创建跟踪可以将账号下发生的云上管控操作日志持续投递到SLS Logstore和OSS Bucket;
(2)在数据湖分析(DLA)服务,可以通过简单的设置将操作日志从OSS Bucket导入DLA。

dla-oss.png

DLA是一款基于Serverless的强大的交互式数据查询分析服务,能够便捷的对不同格式的数据源进行格式化整合并使用统一SQL查询分析。将OSS Bucket 中的操作日志导入DLA后,
(1)DLA将OSS Bucket内以Array形式保存的一行多条日志记录拆分为多条数据;
(2)DLA将以JSON保存的每条操作日志转换为结构化的数据表。
这使面向OSS Bucket的数据解析被大大的简化,直接实现可视化的标准SQL分析。

需求背景.png

开始实践

Step1:确认最佳实践的前提条件

1、确认您已经在操作审计创建了跟踪。如果还未创建跟踪,请先完成创建账号追踪操作,并配置将操作记录投递到对象存储(OSS)。
2、确认开通了DLA服务,请参见开通DLA服务

Step2:在DLA服务中创建Schema

1、登录Data Lake Analytics管理控制台
2、在页面左上角,选择与OSS所在地域一致的DLA地域。
3、单击左侧导航栏的数据湖构建 > 数据入湖,在数据入湖页面单击ActionTrail日志清洗中的进入向导。
4、在ActionTrail日志清洗页面,根据页面提示进行参数配置。

创建Schema_1.png

5、完成上述参数配置后单击创建,创建Schema。
服务端预设的操作审计日志Schema结构如下方表格所示。

1111111111111111111.png

Schema表结构介绍

表格长图.png

Step3:开启同步

Schema创建成功后,ActionTrail投递到OSS Bucket中的日志数据尚未同步到DLA中,DLA中尚未创建OSS日志文件对应的表,您还需要通过单击立即同步来创建表并同步表数据。
1、单击立即同步启动数据同步任务。

在配置页签下,单击更新更新Schema配置。

立即同步.png

2、单击表页签,查看数据同步情况。

元数据管理.png

数据同步到DLA以后,您就可以在DLA中使用标准SQL语法对ActionTrail日志数据进行分析。

Step4:数据分析示例

1、单击DLA控制台左侧 SQL执行 选项卡,选择目标前面设置的数据库。

SQL界面.png

2、输入查询语句,在这里输入单击 同步执行

输入SQL.png

3、得到查询结果

查询结果.png

您可以使用任何符合SQL语法的语句去对DLA中的日志信息进行查询。

常用查询案例

案例1:查询某个AK的操作日志

1、输入语句:select * from action_trail where user_identity_access_key_id = '你的目标AK' limit 20;

案例查询1语句.png

2、单击 同步执行 得到前20条符合条件的记录如下

案例1查询结果.png

案例2:查询某个AK访问某个产品的操作日志
1、输入语句,查询AK为指定值,调用Ecs服务的记录:select * from action_trail where user_identity_access_key_id = '你的目标AK' AND service_name = 'Ecs' limit 20;

案例查询2语句.png

2、单击 同步执行 得到前20条符合条件的记录如下
案例2查询结果.png

相关文章
|
23天前
|
Java
使用Java代码打印log日志
使用Java代码打印log日志
77 1
|
25天前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
78 1
|
28天前
|
SQL 关系型数据库 MySQL
MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复
对于MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复。二进制日志是MySQL中记录所有数据库更改操作的日志文件。要进行时间点恢复,您需要执行以下步骤: 1. 确保MySQL配置文件中启用了二进制日志功能。在配置文件(通常是my.cnf或my.ini)中找到以下行,并确保没有被注释掉: Copy code log_bin = /path/to/binary/log/file 2. 在需要进行恢复的时间点之前创建一个数据库备份。这将作为恢复的基准。 3. 找到您要恢复到的时间点的二进制日志文件和位置。可以通过执行以下命令来查看当前的二进制日志文件和位
|
1月前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
51 0
|
1月前
|
存储 数据库
ALTER MATERIALIZED VIEW LOG :语句来更改现有物化视图日志的存储特征或类型。
`ALTER MATERIALIZED VIEW LOG` 语句用于修改已有的物化视图日志的存储属性或类型。配合示例中的动画图像(由于格式限制无法显示),该语句帮助优化数据库的性能和管理。
44 0
|
3天前
|
Java
log4j异常日志过滤规则配置
log4j异常日志过滤规则配置
13 0
|
16天前
|
运维 安全 Ubuntu
`/var/log/syslog` 和 `/var/log/messages` 日志详解
`/var/log/syslog` 和 `/var/log/messages` 是Linux系统的日志文件,分别在Debian和Red Hat系发行版中记录系统事件和错误。它们包含时间戳、日志级别、PID及消息内容,由`rsyslog`等守护进程管理。常用命令如`tail`和`grep`用于查看和搜索日志。日志级别从低到高包括`debug`到`emerg`,表示不同严重程度的信息。注意保护日志文件的安全,防止未授权访问,并定期使用`logrotate`进行文件轮转以管理磁盘空间。
22 1
|
16天前
|
网络协议 应用服务中间件 Linux
centos7 Nginx Log日志统计分析 常用命令
centos7 Nginx Log日志统计分析 常用命令
29 2
|
17天前
|
Ubuntu Linux 网络安全
/var/log/auth.log日志详解
`/var/log/auth.log`是Linux(尤其是Debian系如Ubuntu)记录身份验证和授权事件的日志文件,包括登录尝试(成功或失败)、SSH活动、sudo使用和PAM模块的操作。登录失败、SSH连接、sudo命令及其它认证活动都会在此记录。查看此日志通常需root权限,可使用`tail`、`less`或`grep`命令。文件内容可能因发行版和配置而异。例如,`sudo tail /var/log/auth.log`显示最后几行,`sudo grep "failed password" /var/log/auth.log`搜索失败密码尝试。
71 8
|
29天前
|
监控 Java 测试技术
日志框架到底是Logback 还是 Log4j2
日志框架到底是Logback 还是 Log4j2
20 0