Quick BI审计日志持久化联合解决方案

本文涉及的产品
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
对象存储 OSS,OSS 加速器 50 GB 1个月
简介:

作者:潘炎峰 更多内容详见数据中台官网 https://dp.alibaba.com
引言
随着网络信息化的成熟发展、“国家网络安全法规”的深入落实要求,企业组织也越来越重视操作日志的保存与分析,其中云计算中的资源的操作记录是一类非常重要的日志。阿里云构建了操作审计(ActionTrail)产品,为云上客户提供审计日志服务。那么如何利用阿里云操作审批(ActionTrail)来构建长周期的云上操作审计方案呢?今天,小编给大家推荐“ActionTrail+OSS+DLA+Quick BI”的组合解决方案,将ActionTrail的审计日志定时同步到OSS进行长周期保存,利用Data Lake Analytics将日志数据标准化,再基于Quick BI进行审计日志的主题式分析。
image

步骤一:ActionTrail审计日志:审计日志统一采集
操作审计(ActionTrail)会记录您的云账户资源操作,提供操作记录查询,并可以将审计事件保存到您指定的日志服务Logstore或者OSS存储空间。利用ActionTrail保存的所有操作记录,您可以实现安全分析、资源变更追踪以及合规性审计。需要开通操作审计功能,才可以实现审计日志统计收集。

步骤二:审计日志持久化存储:基于ActionTrail将日志同步到OSS
基于ActionTrail的创建跟踪功能,我们可以以便保存更长时间的审计事件。操作审计会将事件保存到我们指定的OSS Bucket中。

步骤三:日志标准化:基于DLA实现ActionTrail审计日志标准化
将ActionTrail的审计日志投递到OSS之后,我们发现递到OSS的日志格式是非HADOOP标准JSON格式且存在大量小文件,非常不便于审计日志解析和查看。联合DLA专项定制了ActionTrail日志清洗服务,基于ActionTrail日志清洗功能,我们可以快速实现ActionTrail日志数据的格式化,而且可以基于DLA实现亿级别数据的快速查询与分析。
image

· 标准化之后的数据格式如下:(以Quick BI日志说明为主)
1) 格式化后字段说明:
image

2)qbi_operation_type 的操作类别说明:
image

步骤四:日志分析:基于Quick BI实现审计日志自助分析
在DLA进行日志标准化基础之上,利用 Quick BI进行审计日志自助分析。在实际过程中,可以根据日志的来源系统进行业务拆分,形成不同业务分析主题,满足各业务审计日志查询要求。下面以Quick BI的审计日志为例,进行使用讲解。
1.创建DLA数据源连接
填写在Quick BI中新建DLA数据源连接,填写对应的数据库连接信息即可。
image

2.快速创建审计日志数据集
1)选择DLA标准化后的数据表,一键快捷创建数据集。如下所示:
image

2)在Quick BI的数据集管理功能中,进行数据集处理。“event_id”可以克隆字段并转换为度量并扩展为PV字段;“username”可以克隆字段并转换为度量并扩展为UV字段。如下所示:
image

  1. 创建审计日志分析主题(以Quick BI审计日志为例)
    在Quick BI的仪表板管理中,建立审计日志报表。Quick BI审计日志参考如下:

image

这样一来,基于QuickBI构建的长周期云上操作审计联合解决方案就配置完成啦,快来试一试吧!

阿里巴巴数据中台团队,致力于输出阿里云数据智能的最佳实践,助力每个企业建设自己的数据中台,进而共同实现新时代下的智能商业!
阿里巴巴数据中台解决方案,核心产品:
Dataphin,以阿里巴巴大数据核心方法论OneData为内核驱动,提供一站式数据构建与管理能力;
Quick BI,集阿里巴巴数据分析经验沉淀,提供一站式数据分析与展现能力;
Quick Audience,集阿里巴巴消费者洞察及营销经验,提供一站式人群圈选、洞察及营销投放能力,连接阿里巴巴商业,实现用户增长。
欢迎志同道合者一起成长!更多内容详见数据中台官网 https://dp.alibaba.com

目录
相关文章
|
9月前
|
运维 监控 安全
EventLog Analyzer:高效的Web服务器日志监控与审计解决方案
ManageEngine EventLog Analyzer是一款企业级Web服务器日志监控与审计工具,支持Apache、IIS、Nginx等主流服务器,实现日志集中管理、实时威胁检测、合规报表生成及可视化分析,助力企业应对安全攻击与合规挑战,提升运维效率。
440 1
|
消息中间件 运维 监控
智能运维,由你定义:SAE自定义日志与监控解决方案
通过引入 Sidecar 容器的技术,SAE 为用户提供了更强大的自定义日志与监控解决方案,帮助用户轻松实现日志采集、监控指标收集等功能。未来,SAE 将会支持 istio 多租场景,帮助用户更高效地部署和管理服务网格。
707 51
|
数据可视化 安全 搜索推荐
干货|FESCO Adecco外企德科:Quick BI打造战略管理“观数台”(2)
干货|FESCO Adecco外企德科:Quick BI打造战略管理“观数台”
650 4
|
监控 数据可视化 数据挖掘
干货|FESCO Adecco外企德科:Quick BI打造战略管理“观数台”(1)
干货|FESCO Adecco外企德科:Quick BI打造战略管理“观数台”
602 4
|
监控 Shell Linux
Android调试终极指南:ADB安装+多设备连接+ANR日志抓取全流程解析,覆盖环境变量配置/多设备调试/ANR日志分析全流程,附Win/Mac/Linux三平台解决方案
ADB(Android Debug Bridge)是安卓开发中的重要工具,用于连接电脑与安卓设备,实现文件传输、应用管理、日志抓取等功能。本文介绍了 ADB 的基本概念、安装配置及常用命令。包括:1) 基本命令如 `adb version` 和 `adb devices`;2) 权限操作如 `adb root` 和 `adb shell`;3) APK 操作如安装、卸载应用;4) 文件传输如 `adb push` 和 `adb pull`;5) 日志记录如 `adb logcat`;6) 系统信息获取如屏幕截图和录屏。通过这些功能,用户可高效调试和管理安卓设备。
10353 2
|
消息中间件 运维 监控
智能运维,由你定义:SAE自定义日志与监控解决方案
SAE(Serverless应用引擎)是阿里云推出的全托管PaaS平台,致力于简化微服务应用开发与管理。为满足用户对可观测性和运维能力的更高需求,SAE引入Sidecar容器技术,实现日志采集、监控指标收集等功能扩展,且无需修改主应用代码。通过共享资源模式和独立资源模式,SAE平衡了资源灵活性与隔离性。同时,提供全链路运维能力,确保应用稳定性。未来,SAE将持续优化,支持更多场景,助力用户高效用云。
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
708 9
|
XML Java Maven
logback在springBoot项目中的使用 springboot中使用日志进行持久化保存日志信息
这篇文章详细介绍了如何在Spring Boot项目中使用logback进行日志记录,包括Maven依赖配置、logback配置文件的编写,以及实现的日志持久化和控制台输出效果。
logback在springBoot项目中的使用 springboot中使用日志进行持久化保存日志信息
|
存储 监控 数据可视化
性能监控之JMeter分布式压测轻量日志解决方案
【8月更文挑战第11天】性能监控之JMeter分布式压测轻量日志解决方案
531 0
性能监控之JMeter分布式压测轻量日志解决方案