半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖本教程介绍如何使用日志服务接入 NGINX 模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储专家支持:阿里云日志服务技术专家 王星宇 唐恺
 好运集市 春天好运会发芽🌱      半天掌握日志存储,云启实验室系等你来! 
AI 代码解读

好运集市.jpeg

4月21日-4月29日,完成以下课程学习即可参与抽奖,100%中奖,云小宝、双肩包、VR眼镜等你来。
点击实验室课程链接:https://developer.aliyun.com/adc/series/activity/sls-1

课程实践.png

半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖 实验背景

本场景将提供日志服务 SLS Project 和对象存储 OSS。通过本教程的操作,您可以使用日志服务接入 NGINX 模拟数据,通过数据加工对数据进行清洗并归档至 OSS 中进行存储。

本场景主要涉及以下云产品和服务:
• 日志服务(SLS)
日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。
• 对象存储OSS
阿里云对象存储服务(Object Storage Service,简称OSS)是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于99.999999999%,服务设计可用性不低于99.99%。具有与平台无关的RESTful。

实验后您将收获到:
• 接入NGINX模拟数据。
• 通过数据加工对数据进行清洗。
• 归档至OSS中进行长期冷存。

半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖 实验手册

接入NGINX模拟数据

本步骤将指导您如何使用日志服务接入 NGINX 模拟数据。

  1. 双击打开虚拟桌面的Firefox ESR浏览器
  2. 在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码用户密码输入框,单击登录
  3. 复制下方地址,在Firefox ESR浏览器打开新页签,粘贴并访问日志服务控制台。
https://sls.console.aliyun.com/
AI 代码解读
  1. 日志服务控制台下方的Project列表中,选择Project资源所在地域,然后单击Project名称。

说明 :您可以在云产品资源列表中查看Project资源所在地域和Project名称。

img

  1. 在日志存储页面左侧,单击日志库下的img 图标。

img

  1. 创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定

参数说明:

  • Logstore名称:输入target。
  • WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

img

  1. 创建成功对话框中,单击取消

img

  1. 在日志存储页面左侧,选择日志库>target>数据接入>模拟接入,然后单击img 图标。

img

  1. 快速接入面板中,单击NGINX访问日志下的模拟

img

  1. 模拟接入页面,单击开始导入

img

  1. 模拟接入页面,等待大约一分钟,模拟数据生成后,单击开始使用

img

返回如下页面,您可以看到生成的NGINX模拟数据。

img

创建数据加工

本步骤将指导您如何创建数据加工,将status字段不为200的请求日志存储到目标库中,并查看目标库日志。

  1. 在日志存储页面左侧,单击日志库下的img 图标。

img

  1. 创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定

说明 :该Logstore用来status字段不为200的请求日志。

参数说明:

  • Logstore名称:输入target-1。
  • WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

img

  1. 创建成功对话框中,单击取消

img

  1. 在日志存储页面左侧,单击target-1

img

  1. 错误对话框中,单击确定

img

  1. target-1页签右上方,单击开启索引

img

  1. 查询分析面板中,打开全文索引,单击确定

img

  1. 查询分析设置对话框中,单击确认

img

  1. target-1页签左侧,单击target

img

  1. target页签,单击数据加工

img

  1. target数据加工页签,输入如下加工语句,单击保存数据加工
e_drop(e_search("status:200"))
AI 代码解读

img

  1. 创建数据加工规则面板,输入规则名称,单击添加,然后配置存储目标,时间范围选择为某时间,单击确定

参数说明:

  • 规则名称:自定义规则名称,例如nginx-data-cleaning。
  • 目标名称:存储目标的名称,输入target-1。
  • 目标Region:选择您的Project资源所在地域。
  • 目标Project:选择您的Project名称。
  • 目标库:选择target-1。
  • 时间范围:选择某时间开始。

img

img

  1. 创建结果对话框中,单击确认

img

  1. target页签左侧,单击target-1

img

  1. target-1页签右上方,单击查询/分析

img

返回如下页面,您可以看到在目标库target-1中的日志,只有status字段非200的日志。

img

日志投递

本步骤将指导您如何将数据加工后的日志投递到对象存储OSS。

  1. target-1页签页面左侧,选择日志库>target-1>数据处理>导出>OSS(对象存储)

img

  1. OSS投递管理页签,单击开启投递

img

  1. 投递提示对话框中,单击直接投递

img

  1. OSS投递功能对话框中,参考如下配置,其他配置保持默认即可,单击确定

参数说明:

  • OSS投递名称:自定义OSS投递名称,例如test。
  • OSS Bucket:输入Bucket Name。您可以在云产品资源列表中查看到Bucket Name。

img

  1. 投递提示对话框中,单击确认

img

  1. OSS投递管理器页签,稍等三分钟并刷新页面,您可以看到如下图页面,表示您已成功将数据加工后的日志投递到对象存储OSS。

img

  1. 复制下方地址,在Firefox ESR浏览器打开新页签,粘贴并访问对象存储OSS控制台。
https://oss.console.aliyun.com/overview
AI 代码解读
  1. 在左侧导航栏中,单击Bucket列表

img

  1. Bucket列表页面,找到您的Bucket名称,单击Bucket名称

img

返回如下页面,您可以看到您的Bucket中有一个文件夹,文件夹中就存储着数据加工后的日志。

img

img

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
打赏
0
0
0
0
186
分享
相关文章
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
72 1
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
72 4
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
50 1
如何监控和优化 WAL 日志文件的存储空间使用?
如何监控和优化 WAL 日志文件的存储空间使用?
119 1
支持配置审计日志的存储数据库
审计日志作为企业监管平台的重要依据,同时也是“等保三级”认证的必要考察项之一。Dataphin V4.3版本支持设置平台日志的存储数据源,帮助用户快速获取审计日志,同时介绍了不同部署模式的Dataphin如何查看审计日志的方法。
166 5
通过日志聚合将作业日志存储在HDFS中
如何通过配置Hadoop的日志聚合功能,将作业日志存储在HDFS中以实现长期保留,并详细说明了相关配置参数和访问日志的方法。
67 0
通过日志聚合将作业日志存储在HDFS中
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
235 9
在Linux中,日志文件通常存储在哪些目录?
在Linux中,日志文件通常存储在哪些目录?
图解MySQL【日志】——Undo Log
Undo Log(回滚日志)是 MySQL 中用于实现事务原子性和一致性的关键机制。在默认的自动提交模式下,MySQL 隐式开启事务,每条增删改语句都会记录到 Undo Log 中。其主要作用包括:
8 0
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log

相关产品

  • 日志服务