日志服务(SLS)支持历史数据索引重建(Index Rebuild)

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 日志服务提供索引重建功能,针对历史数据索引未配置、配置错误或遗漏等问题,一步完成对历史数据的索引重构

日志服务SLS支持历史数据索引重建

日志服务提供了强大易用的日志查询和分析功能,提供海量日志关键词查询、SQL分析、智能日志聚类、异常诊断等高级功能,同时配合自动告警、交互式仪表盘,真是问题排查、数据分析的利器。然而,要使用好这个利器的各项功能,首先需要对日志进行正确的索引配置。 没有开启索引,日志就无法查询;没有对字段正确设置类型和开启统计,就不能进行SQL分析。

然而,以下故事一直在重复发生:

索引未开启

小程 :"新业务上线!一定大卖!"

客服 : "有用户反馈,昨天晚上有报错,request id : xxxxx"

小程 : "没问题,日志好像都采集到日志服务了,我立马查询一下"

小程 : "为什么不能查询?"

小程 : "什么?还需要先配置索引,现在配还来得及么?只能对新日志生效? 还有什么办法,急!"

客服 :"原因知道了么, 用户在催了"

小程:"再稍等一下,我在机器上爬日志"

小程 :"上千台机器啊,我怎么知道日志在哪里,万一被回滚掉了,怎么办~~~"

字段类型错误

客服 : "有用户反馈,我们的服务访问越来越慢了"

小程 : "把用户的ID给我,我来分析一下"

小程 :"咦? 为什么我的SQL报错了?"

小程:"是字段类型错了么,只有long/double才能算平均值,被误设置成text类型了。。。"

字段配置遗漏

老板: "我们的Nginx日志都采集了么?"

小程:"都采集了"

老板 :"看看我们服务一天有多少错误"

小程:"服务正常,上亿次访问,错误率不到万分之一"

老板 : "都是来之哪些省,哪些运营商?"

小程:"省?运营商?怎么分析?"

小程:"日志服务自带的ip函数就可以了么?但我没对client_ip配置类型,就真的查不了了么?"

小程内心 : "要是有一颗后悔药就好了!我一定刚开始就正确配置索引,保证字段不遗漏!"

不用急,现在日志服务有后悔药可用了!针对以上3大问题,日志服务(SLS)推出历史数据索引重建(Index Rebuild)功能,提供多次重新选择的机会!只要选择需要重建的时间段,后台即可自动按照当前最新的索引配置进行重建,完成之后,即可对历史数据用最新的配置进行查询分析。

操作步骤

  • 选择需要重新创建索引的日志,点击"查询分析", 选择"重建"

image

  • 设置任务名称, 选在需要重建索引的开始和结束时间,点击"确定" 后开始重建索引

image

  • 可以查询索引重建的进度,当进度达到100%的时候,索引重建完成

image

注意事项

  • 重建索引支持的时间段:30天内 ~ 15分钟之前
  • 最多支持10个重建任务
  • 最多同时有1个重建任务在运行
  • 重建的索引任务可以停止(终止重建,不可恢复)或删除(同时删除任务产生的索引数据)

费用

  • 索引重建会另外产生索引费用(只收取一次)和存储费用(每小时计价一次),价格和正常索引一致
  • 当索引任务删除(新生成的索引数据也被删除)后,重建而导致存储费用不再收取
相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
6月前
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
1794 95
|
6月前
|
数据采集 运维 监控
不重启、不重写、不停机:SLS 软删除如何实现真正的“无感数据急救”?
SLS 全新推出的「软删除」功能,以接近索引查询的性能,解决了数据应急删除与脏数据治理的痛点。2 分钟掌握这一数据管理神器。
750 46
|
7月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
998 1
|
7月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
711 0
|
7月前
|
数据采集 运维 监控
|
SQL 监控
日志服务数据加工最佳实践: 从RDS-MySQL拉取数据做富化
本篇覆盖日志服务数据加工最佳实践: 从RDS-MySQL拉取数据做富化的各种场景, 包括定期刷新拉取所有, 拉取部分数据, 拉取后再过滤数据, 调整返回表格结构等
2062 0
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
499 9
|
10月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
1026 54

相关产品

  • 日志服务