日志服务(SLS)支持历史数据索引重建(Index Rebuild)

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
简介: 日志服务提供索引重建功能,针对历史数据索引未配置、配置错误或遗漏等问题,一步完成对历史数据的索引重构

日志服务SLS支持历史数据索引重建

日志服务提供了强大易用的日志查询和分析功能,提供海量日志关键词查询、SQL分析、智能日志聚类、异常诊断等高级功能,同时配合自动告警、交互式仪表盘,真是问题排查、数据分析的利器。然而,要使用好这个利器的各项功能,首先需要对日志进行正确的索引配置。 没有开启索引,日志就无法查询;没有对字段正确设置类型和开启统计,就不能进行SQL分析。

然而,以下故事一直在重复发生:

索引未开启

小程 :"新业务上线!一定大卖!"

客服 : "有用户反馈,昨天晚上有报错,request id : xxxxx"

小程 : "没问题,日志好像都采集到日志服务了,我立马查询一下"

小程 : "为什么不能查询?"

小程 : "什么?还需要先配置索引,现在配还来得及么?只能对新日志生效? 还有什么办法,急!"

客服 :"原因知道了么, 用户在催了"

小程:"再稍等一下,我在机器上爬日志"

小程 :"上千台机器啊,我怎么知道日志在哪里,万一被回滚掉了,怎么办~~~"

字段类型错误

客服 : "有用户反馈,我们的服务访问越来越慢了"

小程 : "把用户的ID给我,我来分析一下"

小程 :"咦? 为什么我的SQL报错了?"

小程:"是字段类型错了么,只有long/double才能算平均值,被误设置成text类型了。。。"

字段配置遗漏

老板: "我们的Nginx日志都采集了么?"

小程:"都采集了"

老板 :"看看我们服务一天有多少错误"

小程:"服务正常,上亿次访问,错误率不到万分之一"

老板 : "都是来之哪些省,哪些运营商?"

小程:"省?运营商?怎么分析?"

小程:"日志服务自带的ip函数就可以了么?但我没对client_ip配置类型,就真的查不了了么?"

小程内心 : "要是有一颗后悔药就好了!我一定刚开始就正确配置索引,保证字段不遗漏!"

不用急,现在日志服务有后悔药可用了!针对以上3大问题,日志服务(SLS)推出历史数据索引重建(Index Rebuild)功能,提供多次重新选择的机会!只要选择需要重建的时间段,后台即可自动按照当前最新的索引配置进行重建,完成之后,即可对历史数据用最新的配置进行查询分析。

操作步骤

  • 选择需要重新创建索引的日志,点击"查询分析", 选择"重建"

image

  • 设置任务名称, 选在需要重建索引的开始和结束时间,点击"确定" 后开始重建索引

image

  • 可以查询索引重建的进度,当进度达到100%的时候,索引重建完成

image

注意事项

  • 重建索引支持的时间段:30天内 ~ 15分钟之前
  • 最多支持10个重建任务
  • 最多同时有1个重建任务在运行
  • 重建的索引任务可以停止(终止重建,不可恢复)或删除(同时删除任务产生的索引数据)

费用

  • 索引重建会另外产生索引费用(只收取一次)和存储费用(每小时计价一次),价格和正常索引一致
  • 当索引任务删除(新生成的索引数据也被删除)后,重建而导致存储费用不再收取
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
13天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
123 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
1月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
226 3
|
9天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
114 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1631 14
|
9天前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
|
1月前
|
数据采集 机器学习/深度学习 存储
使用 Python 清洗日志数据
使用 Python 清洗日志数据
35 2
|
1月前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
31 0
|
1月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
197 0
|
1月前
|
存储 分布式计算 NoSQL
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
40 0
|
1月前
|
缓存 Linux 编译器
【C++】CentOS环境搭建-安装log4cplus日志组件包及报错解决方案
通过上述步骤,您应该能够在CentOS环境中成功安装并使用log4cplus日志组件。面对任何安装或使用过程中出现的问题,仔细检查错误信息,对照提供的解决方案进行调整,通常都能找到合适的解决之道。log4cplus的强大功能将为您的项目提供灵活、高效的日志管理方案,助力软件开发与维护。
54 0

相关产品

  • 日志服务