日志服务索引设置

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 日志服务提供通过关键字全文查询功能,通过合理的设置,可以更高效进行日志内容检索

什么是索引

日志服务提供通过关键词进行日志查询功能, 如果需要使用该功能(默认不打开),则首先需要在LogStore上创建索引。创建之后, 就可以通过关键词进行查询, 如:

1. KEY_1 OR KEY_2 
日志中出现KEY_1 或 KEY_2
2. KEY_1 AND KEY_2
日志中同时出现KEY_1和KEY_2
3. KEY_1 NOT KEY_2
日志中出现KEY_1但不出现KEY_2
4. (KEY_1 OR KEY_2) AND KEY_3 NOT KEY_4
日志中出现KEY_1或KEY_2,并且出现KEY_3但不出现KEY_4

如何设置索引

在日志服务控制台“Project列表”页面选择指定Project点击即可进入“LogStore列表页面”,在“日志消费模式”下可以通过“创建”或者“修改”进行索引配置,如图示:

screenshot

如果需要为“test-index”日志库创建索引,点击“创建”链接显示如下对话框:

screenshot

其中“test-index”写入的日志内容如下:

screenshot

索引属性配置说明

数据保存时间

支持7天、30天和90天。当期版本,时间只可以改小,不可以改大。 后续版本,将会支持时间改大。

全文索引属性

  • 大小写敏感

    • 选择false表示不区分,则查询“INTERNALERROR”和“internalerror”都能查询到样例日志,如果选择true,则只能通过“internalError”查询到样例日志。
  • 分词符

    • 根据指定单字符,将日志内容切分成多个关键词。例如样例日志:

      日志内容:a,b;c;D-F
      如果设置分隔符为:逗号,分号和短横线,则切分出来5个关键词:
      "a" "b" "c" "D" "F"

键值索引属性

  • 默认的索引会查询日志中所有key对应的内容,只要有一个命中,就会被查询到。比如日志样例中,如果查询“internalError”,在“error”和“code”两个key中都满足该查询条件,如果只需要查询“error”为“internalError”的日志内容,需要设置键值索引,如下图示:

    screenshot

  • 其中“键名称”即为用户指定日志内容特定字段Key,其它两项属性“大小写敏感”和“分词符”与“全文索引属性”中的功能一致,创建完成如上图的索引属性后,可根据如下查询获取“error”字段为“internalError”的日志内容:

    error:internalError

合理配置索引

根据具体的查询业务需求,可以选择合适的索引方法,既能达到高效查询的需求,也能节省使用费用。

  • 所有查询不需要指定键名称(Key)

    • 可以只设置“全文索引属性”
    • 无需设置“键值索引属性”
  • 部分查询需要指定键名称(Key)

    • 根据需求,对特定键(Key)创建键值索引
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
NoSQL Redis 索引
Filebeat收集日志数据传输到Redis,通过Logstash来根据日志字段创建不同的ES索引
Filebeat收集日志数据传输到Redis,通过Logstash来根据日志字段创建不同的ES索引
192 0
|
7月前
|
SQL Oracle 关系型数据库
|
8月前
|
分布式计算 DataWorks 关系型数据库
DataWorks操作报错合集之在DataWorks中设置了一个任务节点的调度时间,并将其发布到生产环境,但到了指定时间(例如17:30)却没有产生运行实例和相关日志如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
124 0
|
6月前
|
弹性计算 Prometheus Cloud Native
SLS Prometheus存储问题之Union MetricStore在性能测试中是如何设置测试环境的
SLS Prometheus存储问题之Union MetricStore在性能测试中是如何设置测试环境的
|
6月前
|
关系型数据库 分布式数据库 数据库
PolarDB产品使用问题之如何设置Redo日志保存时间
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
5月前
|
存储 运维 Kubernetes
在k8S中,日志索引的作用是什么?
在k8S中,日志索引的作用是什么?
|
6月前
|
监控
若依修改-----其他功能,包括参数设置,通知公告,日志管理,验证码控制开关在参数设置里,若依的注册页面是隐藏的,在src的login.vue的97行注册开发,修改成true,通知公告,促进组织内部信
若依修改-----其他功能,包括参数设置,通知公告,日志管理,验证码控制开关在参数设置里,若依的注册页面是隐藏的,在src的login.vue的97行注册开发,修改成true,通知公告,促进组织内部信
|
7月前
|
SQL 关系型数据库 MySQL
MySQL数据库——索引(3)-索引语法(创建索引、查看索引、删除索引、案例演示),SQL性能分析(SQL执行频率,慢查询日志)
MySQL数据库——索引(3)-索引语法(创建索引、查看索引、删除索引、案例演示),SQL性能分析(SQL执行频率,慢查询日志)
83 2
|
6月前
|
JSON 应用服务中间件 开发工具
Ngnix的http块自定义服务日志,access.log和error.log,log_format指定日志输出格式设置
Ngnix的http块自定义服务日志,access.log和error.log,log_format指定日志输出格式设置
|
PHP Windows
PHP 错误日志设置 - MAC
PHP 错误日志设置 - MAC
153 0