使用模拟日志轻松上手日志服务——数据实验室实践

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 数据实验室是日志服务(Log Service,简称 SLS)最新推出的工具,为用户提供各种场景的模拟日志数据,以及各种公共数据集数据。同时也根据场景建立对应的报表模板,方便用户从这些数据和报表模版入手以熟悉日志服务的查询,报表编辑等各种操作。

简介

数据实验室是日志服务(Log Service,简称 SLS)最新推出的工具,为用户提供各种场景的模拟日志数据,以及各种公共数据集数据。同时也根据场景建立对应的报表模板,方便用户从这些数据和报表模版入手以熟悉日志服务的查询,报表编辑等各种操作。

第一期实验室中提供了网站访问日志和 rds 操作日志两种模拟数据场景,并接入了疫情数据集。

入口

image

用户权限

日志模拟写入需要用户授权,AliyunLogArchiveRole

image

完成权限授权之后,正式进入数据实验室的界面。

场景介绍

image

数据分为模拟数据和数据集。
目前提供网站访问,数据库审计两种模拟数据场景,同时也接入了疫情场景数据。
在场景选择界面,用户可以选择需要的数据场景,并点击初始化。

模拟数据:根据模拟配置生成的数据,可以按照需要对部分字段做配置,并随时间推移不断产生新数据。
数据集:来自于各种场景的真实日志数据。

网站访问日志

提供网站访问日志场景,包括网站访问的模拟日志以及预制的网站访问报表。
可以通过查看报表的设置来学习报表的配置方法,并且也可以直接动手进行改动与编辑。

image

在查询界面可以对模拟日志进行查询等日志服务常规操作。

image

数据库审计日志

提供 rds 审计日志场景的模拟,同样包含预制的审计报表等。

image

新冠疫情数据集

与日志服务之前提供的疫情数据一致,用户可以查看每日更新的疫情实时数据。

image

模拟数据设置

目前的数据模拟借由数据加工任务实现,根据场景不同,默认配置了模拟日志的字段与类型。

image

用户可以对部分字段的配置进行调整,例如对于 String 类型的字段:

image

该行表示字段名字为 scheme,字段的类型为 string,内容为 https 和 http,两者的概率权重是 9:1。点击增减按钮可以增减内容,并重新设定权重。

与字段类型类似,还有 Number 类型,可以设置为数字的随机范围与权重。

频率范围

image

在频率范围设置中,可以通过时间范围设定来指定模拟数据生成的起点时间与介绍时间,默认为当前时间的一小时前。如果不指定结束时间,那么模拟数据会一直持续生成。

分布模型分为:随机,周期与线性
异常点:是指在上文数据量分布模式中所确定的数据量基础上,随机选择某些周期,这些周期内的数据量会出现异常变化,变化的倍率用户指定。

可以指定多个独立异常选项,每个数据周期最多只会出现一个异常点,优先模拟排在前面的异常选项。
异常点的两个值分别为出现概率和倍数。

日志生成

image

点击开始导入之后,会为用户创建数据实验室专用的 project 以及对应场景的 logstore。
数据模拟服务启动需要大约 1 分钟的时间,之后就可以直接开始使用了。
点击开始使用后,默认我们会为用户跳转到每个场景的报表中心,

image

用户可以马上开始查看我们预先为每个场景准备的报表,并且可以进行查询与分析操作。
除了在实验室界面中进行查询等操作以外,用户同样也可以进入 datalab 的项目界面进行直接操作。

场景删除

image

在删除场景时,默认会将数据模拟任务停止,同时也可以选择是否要删除对应的 logstore 以及 dashboard。

收费与限制

目前提供的三个场景都可以免费使用,数据保留 7 天,shard 数为 1。但是用户无法对 logstore 进行数据写入,index 编辑等操作。数据实验室提供的 logstore 只可以用于模拟数据的存储。

后续与展望

数据实验室之后会上线更多的日志场景与数据集,同时会与我们之前上线的 SQL 案例中心进行联动,让用户可以非常方便的执行各种 SQL 语句。

并且我们在之后会开放用户自定义模拟的功能,让用户可以完全模拟自己需要的日志。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
23天前
|
Java
使用Java代码打印log日志
使用Java代码打印log日志
77 1
|
24天前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
78 1
|
28天前
|
SQL 关系型数据库 MySQL
MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复
对于MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复。二进制日志是MySQL中记录所有数据库更改操作的日志文件。要进行时间点恢复,您需要执行以下步骤: 1. 确保MySQL配置文件中启用了二进制日志功能。在配置文件(通常是my.cnf或my.ini)中找到以下行,并确保没有被注释掉: Copy code log_bin = /path/to/binary/log/file 2. 在需要进行恢复的时间点之前创建一个数据库备份。这将作为恢复的基准。 3. 找到您要恢复到的时间点的二进制日志文件和位置。可以通过执行以下命令来查看当前的二进制日志文件和位
|
1天前
|
机器学习/深度学习 前端开发 数据挖掘
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断(下)
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
44 11
|
2天前
|
Java
log4j异常日志过滤规则配置
log4j异常日志过滤规则配置
12 0
|
7天前
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断2
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
15 0
|
7天前
|
机器学习/深度学习 前端开发 数据挖掘
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
38 0
|
15天前
|
运维 安全 Ubuntu
`/var/log/syslog` 和 `/var/log/messages` 日志详解
`/var/log/syslog` 和 `/var/log/messages` 是Linux系统的日志文件,分别在Debian和Red Hat系发行版中记录系统事件和错误。它们包含时间戳、日志级别、PID及消息内容,由`rsyslog`等守护进程管理。常用命令如`tail`和`grep`用于查看和搜索日志。日志级别从低到高包括`debug`到`emerg`,表示不同严重程度的信息。注意保护日志文件的安全,防止未授权访问,并定期使用`logrotate`进行文件轮转以管理磁盘空间。
21 1
|
16天前
|
网络协议 应用服务中间件 Linux
centos7 Nginx Log日志统计分析 常用命令
centos7 Nginx Log日志统计分析 常用命令
29 2
|
16天前
|
Ubuntu Linux 网络安全
/var/log/auth.log日志详解
`/var/log/auth.log`是Linux(尤其是Debian系如Ubuntu)记录身份验证和授权事件的日志文件,包括登录尝试(成功或失败)、SSH活动、sudo使用和PAM模块的操作。登录失败、SSH连接、sudo命令及其它认证活动都会在此记录。查看此日志通常需root权限,可使用`tail`、`less`或`grep`命令。文件内容可能因发行版和配置而异。例如,`sudo tail /var/log/auth.log`显示最后几行,`sudo grep "failed password" /var/log/auth.log`搜索失败密码尝试。
66 8

相关产品

  • 日志服务