好运集市 春天好运会发芽🌱
半天掌握日志存储,云启实验室系等你来!
4月21日-4月29日,完成以下课程学习即可参与抽奖,100%中奖,云小宝、双肩包、VR眼镜等你来。
点击实验室课程链接:https://developer.aliyun.com/adc/series/activity/sls-1
云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计 实验简介
本场景主要涉及以下云产品和服务:
• 日志服务:
日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。
实验后您将收获到
• 创建模拟数据任务。
• 数据脱敏。
• 数据审计。
云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计 实验手册
创建原始数据
本步骤将指导您如何创建NGINX模拟数据。
- 双击打开虚拟桌面的Firefox ESR浏览器。
- 在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码到用户密码输入框,单击登录。
- 复制下方地址,在Firefox ESR浏览器打开新页签,粘贴并访问日志服务控制台。
https://sls.console.aliyun.com/
- 在日志服务控制台下方的Project列表中,选择Project资源所在地域,然后单击Project名称。
说明 :您可以在云产品资源列表中查看Project资源所在地域和Project名称。
- 在日志存储页面左侧,单击日志库下的 图标。
- 在创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定。
参数说明:
- Logstore名称:输入nginx-access-log。
- WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。
- 在创建成功对话框中,单击取消。
- 在日志存储页面左侧,选择日志库>您的Logstore>数据接入>模拟接入,然后单击 图标。
- 在快速接入面板中,单击NGINX访问日志下的模拟。
- 在模拟接入页面,单击开始导入。
- 在模拟接入页面,等待大约一分钟,模拟数据生成后,单击开始使用。
返回如下页面,您可以看到生成的NGINX模拟数据,数据中的客户端IP字段remote_addr和访问者用户名字段remote_user没有脱敏,信息安全隐患非常大。
数据脱敏
本步骤将指导您如何创建数据加工任务,对原数据进行脱敏。
- 在日志存储页面左侧,单击日志库下的 图标。
- 在创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定。
说明 :该Logstore用来存储脱敏后的数据。
参数说明:
- Logstore名称:输入nginx-access-log-fmt。
- WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。
- 在创建成功对话框中,单击取消。
- 在日志存储页面左侧,单击nginx-access-log-fmt。
- 在错误对话框中,单击确定。
- 在nginx-access-log-fmt页签右上方,单击开启索引。
- 在查询分析面板中,打开全文索引,单击确定。
- 在查询分析设置对话框中,单击确认。
- 在nginx-access-log-fmt页签左侧,单击nginx-access-log。
- 在nginx-access-log页签,单击数据加工。
- 在nginx-access-log数据加工页签,输入如下加工语句,单击保存数据加工。
e_set("remote_addr", regex_replace(v("remote_addr"), grok("(%{IP})"), replace=r"*.*.*.*"))
e_set("remote_user", regex_replace(v("remote_user"), r"(\S)\S+", replace=r"\1****"))
- 在创建数据加工规则面板,输入规则名称,单击添加,然后配置存储目标,时间范围选择为所有,单击确定。
参数说明:
- 规则名称:自定义规则名称,例如mask-sensitive-info。
- 目标名称:存储目标的名称,输入nginx-access-log-fmt。
- 目标Region:选择您的Project资源所在地域。
- 目标Project:选择您的Project名称。
- 目标库:选择nginx-access-log-fmt。
- 时间范围:选择所有。
- 在创建结果对话框中,单击确认。
- 在nginx-access-log页签左侧,单击nginx-access-log-fmt。
- 在nginx-access-log-fmt页签右上方,单击查询/分析。
返回如下页面,您可以看到NGINX模拟数据中的客户端IP字段remote_addr和访问者用户名字段remote_user已经脱敏。
查看数据加工任务及开启监控告警
本步骤将指导您如何查看数据加工任务及开启监控告警。
- 在日志存储页面左侧,选择日志库>nginx-access-log>数据处理>加工>您的数据加工任务(例如下图的mask-sensitive-info)。
返回如下页签,您可以看到数据加工任务详情和执行状态。
- 在数据加工概览页签的执行状态区域,单击开启监控。
- 在告警中心页签,选择所有监控规则,单击开启。
- 在提示对话框中,单击确定。
返回如下页面,当状态为已开启时,表示您已成功开启监控,日志服务会在数据加工存在异常时,为您发送告警通知,便于您快速发现数据加工过程中的异常问题。