索引查询分析是什么意思?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

索引查询分析是什么意思?

轩墨 2017-10-23 11:07:03 1719
除LogHub、LogShipper外,日志服务提供大规模、低成本的实时分析能力(LogSearch/Analytics) 。
和其他方案相比,实时日志分析体现在:
  • 大规模:支持 PB/Day 数据量
  • 采集快:通过API/SDK写入0延迟,Agent提供秒级采集上传能力
  • 一致性强:日志写入后可以立即被分析
  • 查询速度快:一秒内,复杂查询(5个条件)可处理10亿级数据
  • 分析速度快:一秒内,复杂分析(5个维度聚合+GroupBy)可聚合亿级别数据
  • 方式灵活:可以改变任意查询和分析条件,实时获取结果


基本概念


实时分析查询(Query):由(Search、Analytics)两个部分组成,中间通过|进行分割:

  • 查询(Search):查询条件,可以由关键词、模糊、数值等、区间范围和组合条件等产生。如果为空或”*”,则代表所有数据。
  • 分析(Analytics):对查询结果或全量数据进行计算和统计。

[backcolor=transparent]注意: 两部分均为可选,当Search部分为空时代表针对该时间段所有数据不过滤任何条件,直接对结果进行统计。当Analysis部分为空时,代表只返回查询结果,不需要做统计。
[backcolor=transparent]使用实例
[backcolor=transparent]


操作指南



开启查询分析

  1. 登录 日志服务管理控制台
  2. 选择目标项目,单击项目名称或者单击右侧的 [backcolor=transparent]管理。
  3. 选择目标日志库并单击日志索引列下的 [backcolor=transparent]查询。
  4. 单击右上角的 [backcolor=transparent]设置查询分析 > [backcolor=transparent]设置
    • 开启查询、统计后意味着数据将会在后台被索引,会产生索引的流量,以及索引对应存储的空间
    • 如果不需要查询分析功能,可以点击删除

  • 进入设置菜单


  • 查询设置


    根据具体的查询业务需求,可以选择合适的索引方法,既能达到高效查询的需求,也能节省使用索引及存储费用。
    • 所有查询不需要指定键名称(Key)可以只设置 [backcolor=transparent]全文查询
    • 无需设置 [backcolor=transparent]字段查询分析
    部分查询需要指定字段名称(Key)
    • 根据需求,对特定字段(Key)创建键值索引
    查询需要指定数值范围
    • 可以设置特定字段(Key)索引类型为long或者double

    例如日志内容为:

    1. 全文查询属性
      • 大小写敏感:选择 [backcolor=transparent]false 表示不区分大小写,即查询关键字“INTERNALERROR”和“internalerror”都能查询到样例日志。如果选择 [backcolor=transparent]true,表示区分大小写,只能通过关键字“internalError”查询到样例日志。
      • 分词符:根据指定单字符,将日志内容切分成多个关键词。例如一条日志内容为a,b;c;D-F。设置分隔符为逗号“,”、分号“;”和连字符“-”,可以将日志内容切分为5个关键词”a” “b” “c” “D” “F”。


  • 字段查询属性
    • 全文查询与字段查询区别:默认的索引会查询日志中所有Key对应的内容,只要有一个命中,就会被查询到。例如,日志样例中,如果查询“internalError”,在error和code两个Key中都满足该查询条件

    • 如果只需要查询error为“internalError”的日志内容,需要设置字段索引,如下图示:




  • 使用

    1. 查询分析日志
  • 语法:查询语法分析语法
  • 对查询:设置报警配置仪表盘
  • 案例:Nginx访问日志统计行车轨迹日志分析, 销售系统日志分析


  • 价格

    存储 自然语言处理 监控 应用服务中间件 API 开发工具 nginx 索引
    分享到
    取消 提交回答
    全部回答(0)
    开发与运维
    使用钉钉扫一扫加入圈子
    + 订阅

    集结各类场景实战经验,助你开发运维畅行无忧

    推荐文章
    相似问题
    推荐课程