日志服务(SLS)支持历史数据索引重建(Index Rebuild)

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
简介: 日志服务提供索引重建功能,针对历史数据索引未配置、配置错误或遗漏等问题,一步完成对历史数据的索引重构

日志服务SLS支持历史数据索引重建

日志服务提供了强大易用的日志查询和分析功能,提供海量日志关键词查询、SQL分析、智能日志聚类、异常诊断等高级功能,同时配合自动告警、交互式仪表盘,真是问题排查、数据分析的利器。然而,要使用好这个利器的各项功能,首先需要对日志进行正确的索引配置。 没有开启索引,日志就无法查询;没有对字段正确设置类型和开启统计,就不能进行SQL分析。

然而,以下故事一直在重复发生:

索引未开启

小程 :"新业务上线!一定大卖!"

客服 : "有用户反馈,昨天晚上有报错,request id : xxxxx"

小程 : "没问题,日志好像都采集到日志服务了,我立马查询一下"

小程 : "为什么不能查询?"

小程 : "什么?还需要先配置索引,现在配还来得及么?只能对新日志生效? 还有什么办法,急!"

客服 :"原因知道了么, 用户在催了"

小程:"再稍等一下,我在机器上爬日志"

小程 :"上千台机器啊,我怎么知道日志在哪里,万一被回滚掉了,怎么办~~~"

字段类型错误

客服 : "有用户反馈,我们的服务访问越来越慢了"

小程 : "把用户的ID给我,我来分析一下"

小程 :"咦? 为什么我的SQL报错了?"

小程:"是字段类型错了么,只有long/double才能算平均值,被误设置成text类型了。。。"

字段配置遗漏

老板: "我们的Nginx日志都采集了么?"

小程:"都采集了"

老板 :"看看我们服务一天有多少错误"

小程:"服务正常,上亿次访问,错误率不到万分之一"

老板 : "都是来之哪些省,哪些运营商?"

小程:"省?运营商?怎么分析?"

小程:"日志服务自带的ip函数就可以了么?但我没对client_ip配置类型,就真的查不了了么?"

小程内心 : "要是有一颗后悔药就好了!我一定刚开始就正确配置索引,保证字段不遗漏!"

不用急,现在日志服务有后悔药可用了!针对以上3大问题,日志服务(SLS)推出历史数据索引重建(Index Rebuild)功能,提供多次重新选择的机会!只要选择需要重建的时间段,后台即可自动按照当前最新的索引配置进行重建,完成之后,即可对历史数据用最新的配置进行查询分析。

操作步骤

  • 选择需要重新创建索引的日志,点击"查询分析", 选择"重建"

image

  • 设置任务名称, 选在需要重建索引的开始和结束时间,点击"确定" 后开始重建索引

image

  • 可以查询索引重建的进度,当进度达到100%的时候,索引重建完成

image

注意事项

  • 重建索引支持的时间段:30天内 ~ 15分钟之前
  • 最多支持10个重建任务
  • 最多同时有1个重建任务在运行
  • 重建的索引任务可以停止(终止重建,不可恢复)或删除(同时删除任务产生的索引数据)

费用

  • 索引重建会另外产生索引费用(只收取一次)和存储费用(每小时计价一次),价格和正常索引一致
  • 当索引任务删除(新生成的索引数据也被删除)后,重建而导致存储费用不再收取
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
12天前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
87 3
|
13天前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1576 12
|
16天前
|
数据采集 机器学习/深度学习 存储
使用 Python 清洗日志数据
使用 Python 清洗日志数据
20 2
|
8天前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
15 0
|
10天前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
44 0
|
13天前
|
存储 分布式计算 NoSQL
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
20 0
|
13天前
|
缓存 Linux 编译器
【C++】CentOS环境搭建-安装log4cplus日志组件包及报错解决方案
通过上述步骤,您应该能够在CentOS环境中成功安装并使用log4cplus日志组件。面对任何安装或使用过程中出现的问题,仔细检查错误信息,对照提供的解决方案进行调整,通常都能找到合适的解决之道。log4cplus的强大功能将为您的项目提供灵活、高效的日志管理方案,助力软件开发与维护。
32 0
|
1月前
|
Java
日志框架log4j打印异常堆栈信息携带traceId,方便接口异常排查
日常项目运行日志,异常栈打印是不带traceId,导致排查问题查找异常栈很麻烦。
|
1月前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
105 9
|
1月前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
165 3

相关产品

  • 日志服务