半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计。本教程介绍如何使用日志服务创建模拟数据任务(NGINX访问日志),并对数据进行脱敏和审计。专家支持:阿里云日志服务技术专家 灵圣
好运集市 春天好运会发芽🌱
半天掌握日志存储,云启实验室系等你来!
AI 代码解读

好运集市.jpeg

4月21日-4月29日,完成以下课程学习即可参与抽奖,100%中奖,云小宝、双肩包、VR眼镜等你来。
点击实验室课程链接:https://developer.aliyun.com/adc/series/activity/sls-1

云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计 实验简介

本场景主要涉及以下云产品和服务:
• 日志服务:
日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。

实验后您将收获到
• 创建模拟数据任务。
• 数据脱敏。
• 数据审计。

云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计 实验手册

创建原始数据

本步骤将指导您如何创建NGINX模拟数据。

  1. 双击打开虚拟桌面的Firefox ESR浏览器
  2. 在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码用户密码输入框,单击登录
  3. 复制下方地址,在Firefox ESR浏览器打开新页签,粘贴并访问日志服务控制台。
https://sls.console.aliyun.com/
AI 代码解读
  1. 日志服务控制台下方的Project列表中,选择Project资源所在地域,然后单击Project名称。

说明 :您可以在云产品资源列表中查看Project资源所在地域和Project名称。

img

  1. 在日志存储页面左侧,单击日志库下的img 图标。

img

  1. 创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定

参数说明:

  • Logstore名称:输入nginx-access-log。
  • WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

img

  1. 创建成功对话框中,单击取消

img

  1. 在日志存储页面左侧,选择日志库>您的Logstore>数据接入>模拟接入,然后单击img 图标。

img

  1. 快速接入面板中,单击NGINX访问日志下的模拟

img

  1. 模拟接入页面,单击开始导入

img

  1. 模拟接入页面,等待大约一分钟,模拟数据生成后,单击开始使用

img

返回如下页面,您可以看到生成的NGINX模拟数据,数据中的客户端IP字段remote_addr和访问者用户名字段remote_user没有脱敏,信息安全隐患非常大。

img

数据脱敏

本步骤将指导您如何创建数据加工任务,对原数据进行脱敏。

  1. 在日志存储页面左侧,单击日志库下的img 图标。

img

  1. 创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定

说明 :该Logstore用来存储脱敏后的数据。

参数说明:

  • Logstore名称:输入nginx-access-log-fmt。
  • WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

img

  1. 创建成功对话框中,单击取消

img

  1. 在日志存储页面左侧,单击nginx-access-log-fmt

img

  1. 错误对话框中,单击确定

img

  1. nginx-access-log-fmt页签右上方,单击开启索引

img

  1. 查询分析面板中,打开全文索引,单击确定

img

  1. 查询分析设置对话框中,单击确认

img

  1. nginx-access-log-fmt页签左侧,单击nginx-access-log

img

  1. nginx-access-log页签,单击数据加工

img

  1. nginx-access-log数据加工页签,输入如下加工语句,单击保存数据加工
e_set("remote_addr", regex_replace(v("remote_addr"), grok("(%{IP})"), replace=r"*.*.*.*"))
e_set("remote_user", regex_replace(v("remote_user"), r"(\S)\S+", replace=r"\1****"))
AI 代码解读

img

  1. 创建数据加工规则面板,输入规则名称,单击添加,然后配置存储目标,时间范围选择为所有,单击确定

参数说明:

  • 规则名称:自定义规则名称,例如mask-sensitive-info。
  • 目标名称:存储目标的名称,输入nginx-access-log-fmt。
  • 目标Region:选择您的Project资源所在地域。
  • 目标Project:选择您的Project名称。
  • 目标库:选择nginx-access-log-fmt。
  • 时间范围:选择所有。

img

img

  1. 创建结果对话框中,单击确认

img

  1. nginx-access-log页签左侧,单击nginx-access-log-fmt

img

  1. nginx-access-log-fmt页签右上方,单击查询/分析

img

返回如下页面,您可以看到NGINX模拟数据中的客户端IP字段remote_addr和访问者用户名字段remote_user已经脱敏。

img

查看数据加工任务及开启监控告警

本步骤将指导您如何查看数据加工任务及开启监控告警。

  1. 在日志存储页面左侧,选择日志库>nginx-access-log>数据处理>加工>您的数据加工任务(例如下图的mask-sensitive-info)

img

返回如下页签,您可以看到数据加工任务详情和执行状态。

img

  1. 在数据加工概览页签的执行状态区域,单击开启监控

img

  1. 告警中心页签,选择所有监控规则,单击开启

img

  1. 提示对话框中,单击确定

img

返回如下页面,当状态为已开启时,表示您已成功开启监控,日志服务会在数据加工存在异常时,为您发送告警通知,便于您快速发现数据加工过程中的异常问题。

img

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
打赏
0
0
1
0
186
分享
相关文章
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
115 9
云上数据安全保护:敏感日志扫描与脱敏实践详解
随着企业对云服务的广泛应用,数据安全成为重要课题。通过对云上数据进行敏感数据扫描和保护,可以有效提升企业或组织的数据安全。本文主要基于阿里云的数据安全中心数据识别功能进行深入实践探索。通过对商品购买日志的模拟,分析了如何使用阿里云的工具对日志数据进行识别、脱敏(3 种模式)处理和基于 StoreView 的查询脱敏方式,从而在保障数据安全的同时满足业务需求。通过这些实践,企业可以有效降低数据泄漏风险,提升数据治理能力和系统安全性。
1089 153
云上数据安全保护:敏感日志扫描与脱敏实践详解
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
159 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件,可以快速定位和解决问题,确保Tomcat服务器的稳定运行。掌握这些日志解析技巧,可以显著提高运维和开发效率。
85 13
图解MySQL【日志】——Redo Log
Redo Log(重做日志)是数据库中用于记录数据页修改的物理日志,确保事务的持久性和一致性。其主要作用包括崩溃恢复、提高性能和保证事务一致性。Redo Log 通过先写日志的方式,在内存中缓存修改操作,并在适当时候刷入磁盘,减少随机写入带来的性能损耗。WAL(Write-Ahead Logging)技术的核心思想是先将修改操作记录到日志文件中,再择机写入磁盘,从而实现高效且安全的数据持久化。Redo Log 的持久化过程涉及 Redo Log Buffer 和不同刷盘时机的控制参数(如 `innodb_flush_log_at_trx_commit`),以平衡性能与数据安全性。
56 5
图解MySQL【日志】——Redo Log
简单聊聊MySQL的三大日志(Redo Log、Binlog和Undo Log)各有什么区别
在MySQL数据库管理中,理解Redo Log(重做日志)、Binlog(二进制日志)和Undo Log(回滚日志)至关重要。Redo Log确保数据持久性和崩溃恢复;Binlog用于主从复制和数据恢复,记录逻辑操作;Undo Log支持事务的原子性和隔离性,实现回滚与MVCC。三者协同工作,保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况,帮助深入理解数据库日志机制。
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
141 7
MySQL事务日志-Undo Log工作原理分析
图解MySQL【日志】——Undo Log
Undo Log(回滚日志)是 MySQL 中用于实现事务原子性和一致性的关键机制。在默认的自动提交模式下,MySQL 隐式开启事务,每条增删改语句都会记录到 Undo Log 中。其主要作用包括:
64 0
什么是事件日志管理系统?事件日志管理系统有哪些用处?
事件日志管理系统是IT安全的重要工具,用于集中收集、分析和解释来自组织IT基础设施各组件的事件日志,如防火墙、路由器、交换机等,帮助提升网络安全、实现主动威胁检测和促进合规性。系统支持多种日志类型,包括Windows事件日志、Syslog日志和应用程序日志,通过实时监测、告警及可视化分析,为企业提供强大的安全保障。然而,实施过程中也面临数据量大、日志管理和分析复杂等挑战。EventLog Analyzer作为一款高效工具,不仅提供实时监测与告警、可视化分析和报告功能,还支持多种合规性报告,帮助企业克服挑战,提升网络安全水平。
153 2

相关产品

  • 日志服务