半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: 半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计。本教程介绍如何使用日志服务创建模拟数据任务(NGINX访问日志),并对数据进行脱敏和审计。专家支持:阿里云日志服务技术专家 灵圣

「好运集市」春天好运会发芽

半天掌握日志存储,云启实验室系等你来!

好运集市.jpeg

4月21日-4月29日,完成以下课程学习即可参与抽奖,100%中奖,云小宝双肩包VR眼镜等你来。

点击实验室课程链接:https://developer.aliyun.com/adc/series/activity/sls-1

课程实践.png

云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计 实验背景


本场景主要涉及以下云产品和服务:

  • 日志服务:

日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。


实验后您将收获到

  • 创建模拟数据任务。
  • 数据脱敏。
  • 数据审计。

云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计 实验手册

创建原始数据


本步骤将指导您如何创建NGINX模拟数据。


1. 双击打开虚拟桌面的Firefox ESR浏览器

2. 在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码用户密码入框,单击登录

3. 复制下方地址,在Firefox ESR浏览器打开新页签,粘贴并访问日志服务控制台。

```

https://sls.console.aliyun.com/

```

4. 在日志服务控制台下方的Project列表中,选择Project资源所在地域,然后单击Project名称。


说明 :您可以在云产品资源列表中查看Project资源所在地域和Project名称。


img



5. 在日志存储页面左侧,单击日志库下的+图标。

image.png


6. 在创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定


参数说明:


- Logstore名称:输入nginx-access-log。

- WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

image.png


7. 在创建成功对话框中,单击取消


image.png


8. 在日志存储页面左侧,选择日志库>您的Logstore>数据接入>模拟接入,然后单击+ 图标。

image.png


9. 在快速接入面板中,单击NGINX访问日志下的模拟


image.png


10. 在模拟接入页面,单击开始导入


image.png


11. 在模拟接入页面,等待大约一分钟,模拟数据生成后,单击开始使用


image.png


返回如下页面,您可以看到生成的NGINX模拟数据,数据中的客户端IP字段remote_addr和访问者用户名字段remote_user没有脱敏,信息安全隐患非常大。


image.png


数据脱敏

本步骤将指导您如何创建数据加工任务,对原数据进行脱敏。


1. 在日志存储页面左侧,单击日志库下图标。


image.png


2. 在创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定


说明 :该Logstore用来存储脱敏后的数据。


参数说明:


- Logstore名称:输入nginx-access-log-fmt。

- WebTracking:打开**WebTracking**开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。


image.pngimage.pngimage.pngimage.png

image.png

3. 在创建成功对话框中,单击取消


image.png


4. 在日志存储页面左侧,单击nginx-access-log-fmt


image.png


  1. 查询分析面板中,打开全文索引,单击确定

image.png

  1. 查询分析设置对话框中,单击确认

image.png

  1. nginx-access-log-fmt页签左侧,单击nginx-access-log

image.png

  1. nginx-access-log页签,单击数据加工

image.png

  1. nginx-access-log数据加工页签,输入如下加工语句,单击保存数据加工
e_set("remote_addr", regex_replace(v("remote_addr"), grok("(%{IP})"), replace=r"*.*.*.*"))
e_set("remote_user", regex_replace(v("remote_user"), r"(\S)\S+", replace=r"\1****"))

image.png

  1. 创建数据加工规则面板,输入规则名称,单击添加,然后配置存储目标,时间范围选择为所有,单击确定

参数说明:

  • 规则名称:自定义规则名称,例如mask-sensitive-info。
  • 目标名称:存储目标的名称,输入nginx-access-log-fmt。
  • 目标Region:选择您的Project资源所在地域。
  • 目标Project:选择您的Project名称。
  • 目标库:选择nginx-access-log-fmt。
  • 时间范围:选择所有。

image.png

image.png

  1. 创建结果对话框中,单击确认

image.png

  1. nginx-access-log页签左侧,单击nginx-access-log-fmt

image.png

  1. nginx-access-log-fmt页签右上方,单击查询/分析

image.png

返回如下页面,您可以看到NGINX模拟数据中的客户端IP字段remote_addr和访问者用户名字段remote_user已经脱敏。

image.png

查看数据加工任务及开启监控告警

本步骤将指导您如何查看数据加工任务及开启监控告警。

  1. 在日志存储页面左侧,选择日志库>nginx-access-log>数据处理>加工>您的数据加工任务(例如下图的mask-sensitive-info)

image.png

返回如下页签,您可以看到数据加工任务详情和执行状态。

image.png

  1. 在数据加工概览页签的执行状态区域,单击开启监控

image.png

  1. 告警中心页签,选择所有监控规则,单击开启

image.png

  1. 提示对话框中,单击确定

image.png

返回如下页面,当状态为已开启时,表示您已成功开启监控,日志服务会在数据加工存在异常时,为您发送告警通知,便于您快速发现数据加工过程中的异常问题。

image.png


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1月前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
44 1
|
2月前
|
Java
日志框架log4j打印异常堆栈信息携带traceId,方便接口异常排查
日常项目运行日志,异常栈打印是不带traceId,导致排查问题查找异常栈很麻烦。
|
1月前
|
存储 缓存 网络协议
搭建dns服务常见报错--查看/etc/named.conf没有错误日志信息却显示出错(/etc/named.conf:49: missing ‘;‘ before ‘include‘)及dns介绍
搭建dns服务常见报错--查看/etc/named.conf没有错误日志信息却显示出错(/etc/named.conf:49: missing ‘;‘ before ‘include‘)及dns介绍
134 0
|
2月前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
158 9
|
3月前
|
Kubernetes 数据安全/隐私保护 容器
【Azure APIM】APIM Self-Hosted网关中,添加网关日志以记录请求头信息(Request Header / Response Header)
【Azure APIM】APIM Self-Hosted网关中,添加网关日志以记录请求头信息(Request Header / Response Header)
|
3月前
|
监控 安全 Linux
在Linux中,某个账号登陆linux后,系统会在哪些日志文件中记录相关信息?
在Linux中,某个账号登陆linux后,系统会在哪些日志文件中记录相关信息?
|
3月前
|
API
【Azure 服务总线】查看Service Bus中消息多次发送的日志信息,消息是否被重复消费
【Azure 服务总线】查看Service Bus中消息多次发送的日志信息,消息是否被重复消费
|
3月前
|
存储 API C#
【Azure API 管理】在APIM 中添加 log-to-eventhub 策略,把 Request Body 信息全部记录在Event Hub中
【Azure API 管理】在APIM 中添加 log-to-eventhub 策略,把 Request Body 信息全部记录在Event Hub中
|
3月前
|
存储 安全 Java
【事件中心 Azure Event Hub】Event Hub日志中发现的错误信息解读
【事件中心 Azure Event Hub】Event Hub日志中发现的错误信息解读
|
19天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
154 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板

相关产品

  • 日志服务
  • 下一篇
    无影云桌面