Quick BI审计日志持久化联合解决方案

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
操作审计,不限时长
简介:

作者:潘炎峰 更多内容详见数据中台官网 https://dp.alibaba.com
引言
随着网络信息化的成熟发展、“国家网络安全法规”的深入落实要求,企业组织也越来越重视操作日志的保存与分析,其中云计算中的资源的操作记录是一类非常重要的日志。阿里云构建了操作审计(ActionTrail)产品,为云上客户提供审计日志服务。那么如何利用阿里云操作审批(ActionTrail)来构建长周期的云上操作审计方案呢?今天,小编给大家推荐“ActionTrail+OSS+DLA+Quick BI”的组合解决方案,将ActionTrail的审计日志定时同步到OSS进行长周期保存,利用Data Lake Analytics将日志数据标准化,再基于Quick BI进行审计日志的主题式分析。
image

步骤一:ActionTrail审计日志:审计日志统一采集
操作审计(ActionTrail)会记录您的云账户资源操作,提供操作记录查询,并可以将审计事件保存到您指定的日志服务Logstore或者OSS存储空间。利用ActionTrail保存的所有操作记录,您可以实现安全分析、资源变更追踪以及合规性审计。需要开通操作审计功能,才可以实现审计日志统计收集。

步骤二:审计日志持久化存储:基于ActionTrail将日志同步到OSS
基于ActionTrail的创建跟踪功能,我们可以以便保存更长时间的审计事件。操作审计会将事件保存到我们指定的OSS Bucket中。

步骤三:日志标准化:基于DLA实现ActionTrail审计日志标准化
将ActionTrail的审计日志投递到OSS之后,我们发现递到OSS的日志格式是非HADOOP标准JSON格式且存在大量小文件,非常不便于审计日志解析和查看。联合DLA专项定制了ActionTrail日志清洗服务,基于ActionTrail日志清洗功能,我们可以快速实现ActionTrail日志数据的格式化,而且可以基于DLA实现亿级别数据的快速查询与分析。
image

· 标准化之后的数据格式如下:(以Quick BI日志说明为主)
1) 格式化后字段说明:
image

2)qbi_operation_type 的操作类别说明:
image

步骤四:日志分析:基于Quick BI实现审计日志自助分析
在DLA进行日志标准化基础之上,利用 Quick BI进行审计日志自助分析。在实际过程中,可以根据日志的来源系统进行业务拆分,形成不同业务分析主题,满足各业务审计日志查询要求。下面以Quick BI的审计日志为例,进行使用讲解。
1.创建DLA数据源连接
填写在Quick BI中新建DLA数据源连接,填写对应的数据库连接信息即可。
image

2.快速创建审计日志数据集
1)选择DLA标准化后的数据表,一键快捷创建数据集。如下所示:
image

2)在Quick BI的数据集管理功能中,进行数据集处理。“event_id”可以克隆字段并转换为度量并扩展为PV字段;“username”可以克隆字段并转换为度量并扩展为UV字段。如下所示:
image

  1. 创建审计日志分析主题(以Quick BI审计日志为例)
    在Quick BI的仪表板管理中,建立审计日志报表。Quick BI审计日志参考如下:

image

这样一来,基于QuickBI构建的长周期云上操作审计联合解决方案就配置完成啦,快来试一试吧!

阿里巴巴数据中台团队,致力于输出阿里云数据智能的最佳实践,助力每个企业建设自己的数据中台,进而共同实现新时代下的智能商业!
阿里巴巴数据中台解决方案,核心产品:
Dataphin,以阿里巴巴大数据核心方法论OneData为内核驱动,提供一站式数据构建与管理能力;
Quick BI,集阿里巴巴数据分析经验沉淀,提供一站式数据分析与展现能力;
Quick Audience,集阿里巴巴消费者洞察及营销经验,提供一站式人群圈选、洞察及营销投放能力,连接阿里巴巴商业,实现用户增长。
欢迎志同道合者一起成长!更多内容详见数据中台官网 https://dp.alibaba.com

目录
相关文章
|
7月前
|
存储 JSON 监控
可以通过配置Filebeat来将Higress日志持久化到磁盘
【2月更文挑战第10天】可以通过配置Filebeat来将Higress日志持久化到磁盘
104 4
|
7月前
|
传感器 数据可视化 搜索推荐
瓴羊Quick BI助力深圳光明环境水务公司举办水务数据应用大会暨第二届“光环杯”BI应用大赛
瓴羊Quick BI助力深圳光明环境水务公司举办水务数据应用大会暨第二届“光环杯”BI应用大赛
138 0
|
5月前
|
数据可视化 安全 搜索推荐
干货|FESCO Adecco外企德科:Quick BI打造战略管理“观数台”(2)
干货|FESCO Adecco外企德科:Quick BI打造战略管理“观数台”
133 4
|
5月前
|
监控 数据可视化 数据挖掘
干货|FESCO Adecco外企德科:Quick BI打造战略管理“观数台”(1)
干货|FESCO Adecco外企德科:Quick BI打造战略管理“观数台”
113 4
|
2月前
|
缓存 Linux 编译器
【C++】CentOS环境搭建-安装log4cplus日志组件包及报错解决方案
通过上述步骤,您应该能够在CentOS环境中成功安装并使用log4cplus日志组件。面对任何安装或使用过程中出现的问题,仔细检查错误信息,对照提供的解决方案进行调整,通常都能找到合适的解决之道。log4cplus的强大功能将为您的项目提供灵活、高效的日志管理方案,助力软件开发与维护。
65 0
|
3月前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
175 9
|
7月前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4月前
|
XML Java Maven
logback在springBoot项目中的使用 springboot中使用日志进行持久化保存日志信息
这篇文章详细介绍了如何在Spring Boot项目中使用logback进行日志记录,包括Maven依赖配置、logback配置文件的编写,以及实现的日志持久化和控制台输出效果。
logback在springBoot项目中的使用 springboot中使用日志进行持久化保存日志信息
|
4月前
|
存储 监控 数据可视化
性能监控之JMeter分布式压测轻量日志解决方案
【8月更文挑战第11天】性能监控之JMeter分布式压测轻量日志解决方案
102 0
性能监控之JMeter分布式压测轻量日志解决方案
|
5月前
|
BI
专业认证!阿里云Quick BI入选Gartner®魔力象限
专业认证!阿里云Quick BI入选Gartner®魔力象限
143 1