使用模拟日志轻松上手日志服务——数据实验室实践

本文涉及的产品
对象存储 OSS,标准 - 本地冗余存储 20GB 3个月
对象存储 OSS,标准 - 同城冗余存储 20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 数据实验室是日志服务(Log Service,简称 SLS)最新推出的工具,为用户提供各种场景的模拟日志数据,以及各种公共数据集数据。同时也根据场景建立对应的报表模板,方便用户从这些数据和报表模版入手以熟悉日志服务的查询,报表编辑等各种操作。

简介

数据实验室是日志服务(Log Service,简称 SLS)最新推出的工具,为用户提供各种场景的模拟日志数据,以及各种公共数据集数据。同时也根据场景建立对应的报表模板,方便用户从这些数据和报表模版入手以熟悉日志服务的查询,报表编辑等各种操作。

第一期实验室中提供了网站访问日志和 rds 操作日志两种模拟数据场景,并接入了疫情数据集。

入口

image

用户权限

日志模拟写入需要用户授权,AliyunLogArchiveRole

image

完成权限授权之后,正式进入数据实验室的界面。

场景介绍

image

数据分为模拟数据和数据集。
目前提供网站访问,数据库审计两种模拟数据场景,同时也接入了疫情场景数据。
在场景选择界面,用户可以选择需要的数据场景,并点击初始化。

模拟数据:根据模拟配置生成的数据,可以按照需要对部分字段做配置,并随时间推移不断产生新数据。
数据集:来自于各种场景的真实日志数据。

网站访问日志

提供网站访问日志场景,包括网站访问的模拟日志以及预制的网站访问报表。
可以通过查看报表的设置来学习报表的配置方法,并且也可以直接动手进行改动与编辑。

image

在查询界面可以对模拟日志进行查询等日志服务常规操作。

image

数据库审计日志

提供 rds 审计日志场景的模拟,同样包含预制的审计报表等。

新冠疫情数据集

与日志服务之前提供的疫情数据一致,用户可以查看每日更新的疫情实时数据。

image

模拟数据设置

目前的数据模拟借由数据加工任务实现,根据场景不同,默认配置了模拟日志的字段与类型。

image

用户可以对部分字段的配置进行调整,例如对于 String 类型的字段:

image

该行表示字段名字为 scheme,字段的类型为 string,内容为 https 和 http,两者的概率权重是 9:1。点击增减按钮可以增减内容,并重新设定权重。

与字段类型类似,还有 Number 类型,可以设置为数字的随机范围与权重。

频率范围

image

在频率范围设置中,可以通过时间范围设定来指定模拟数据生成的起点时间与介绍时间,默认为当前时间的一小时前。如果不指定结束时间,那么模拟数据会一直持续生成。

分布模型分为:随机,周期与线性
异常点:是指在上文数据量分布模式中所确定的数据量基础上,随机选择某些周期,这些周期内的数据量会出现异常变化,变化的倍率用户指定。

可以指定多个独立异常选项,每个数据周期最多只会出现一个异常点,优先模拟排在前面的异常选项。
异常点的两个值分别为出现概率和倍数。

日志生成

image

点击开始导入之后,会为用户创建数据实验室专用的 project 以及对应场景的 logstore。
数据模拟服务启动需要大约 1 分钟的时间,之后就可以直接开始使用了。
点击开始使用后,默认我们会为用户跳转到每个场景的报表中心,

image

用户可以马上开始查看我们预先为每个场景准备的报表,并且可以进行查询与分析操作。
除了在实验室界面中进行查询等操作以外,用户同样也可以进入 datalab 的项目界面进行直接操作。

场景删除

image

在删除场景时,默认会将数据模拟任务停止,同时也可以选择是否要删除对应的 logstore 以及 dashboard。

收费与限制

目前提供的三个场景都可以免费使用,数据保留 7 天,shard 数为 1。但是用户无法对 logstore 进行数据写入,index 编辑等操作。数据实验室提供的 logstore 只可以用于模拟数据的存储。

后续与展望

数据实验室之后会上线更多的日志场景与数据集,同时会与我们之前上线的 SQL 案例中心进行联动,让用户可以非常方便的执行各种 SQL 语句。

并且我们在之后会开放用户自定义模拟的功能,让用户可以完全模拟自己需要的日志。

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
2月前
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
473 50
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文探讨了日志管理中的常见反模式及其潜在问题,强调科学的日志管理策略对系统可观测性的重要性。文中分析了6种反模式:copy truncate轮转导致的日志丢失或重复、NAS/OSS存储引发的采集不一致、多进程写入造成的日志混乱、创建文件空洞释放空间的风险、频繁覆盖写带来的数据完整性问题,以及使用vim编辑日志文件导致的重复采集。针对这些问题,文章提供了最佳实践建议,如使用create模式轮转日志、本地磁盘存储、单线程追加写入等方法,以降低日志采集风险,提升系统可靠性。最后总结指出,遵循这些实践可显著提高故障排查效率和系统性能。
798 20
|
2月前
|
数据采集 运维 监控
不重启、不重写、不停机:SLS 软删除如何实现真正的“无感数据急救”?
SLS 全新推出的「软删除」功能,以接近索引查询的性能,解决了数据应急删除与脏数据治理的痛点。2 分钟掌握这一数据管理神器。
153 17
|
3月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
378 1
|
6月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
3月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
230 0
|
3月前
|
数据采集 运维 监控
|
5月前
|
存储 NoSQL MongoDB
Docker中安装MongoDB并配置数据、日志、配置文件持久化。
现在,你有了一个运行在Docker中的MongoDB,它拥有自己的小空间,对高楼大厦的崩塌视而不见(会话丢失和数据不持久化的问题)。这个MongoDB的数据、日志、配置文件都会妥妥地保存在你为它精心准备的地方,天旋地转,它也不会失去一丁点儿宝贵的记忆(即使在容器重启后)。
516 4

相关产品

  • 日志服务
  • 下一篇
    开通oss服务