【Elastic Engineering】Elasticsearch:使用算术运算的临时 Runtime field

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Elasticsearch:使用算术运算的临时 Runtime field

作者:刘晓国


Runtime fields 在实际的数据查询中非常有用。它的设计最初的理念就是代替之前的 Scripted fields。在很多时候,我们一开始可能还没有想到需要哪些字段来对数据进行分析。有的时候,我们需要的字段可能是由其它的字段来生产的。我们可以使用 Math 库来动态地生成一些我们需要的临时字段。这些字段可以帮助我们对数据做更进一步的分析。


在今天的教程中,我将使用 Painless 的 Math 库来生产一个 Runtime field。在使用中,我们需要注意的一点是:Runtime field 是从 Elastic Stack 7.11 开始支持的。


准备数据


我们使用 Kibana 自动的索引:

image.pngimage.png

image.png


这样我们就导入了一个叫做 kibana_sample_data_logs 的索引。


创建 Runtime field


我们先在 Kibana 中做如下的搜索:

GET kibana_sample_data_logs/_search

image.png

我们可以看到一个叫做 machine 的字段。其中的 ram 子字段的值为 8589934592。它是以字节的形式来表示的。我们在查询时候,有时感觉使用字节不是很方便,那么我们想生成一个 Runtime field 来转换为 GB 格式的。这样更容易进行搜索。


我们首先使用如下的命令来搜索:

GET kibana_sample_data_logs/_search
{
  "runtime_mappings": {
    "ram_floor_gb": {
      "type": "long",
      "script": {
        "source": "emit(Math.floor(doc['machine.ram'].value /1024/1024/1024).longValue())"
      }
    }
  },
  "fields": [
    "ram_floor_gb",
    "machine.ram"
  ]
}

在上面,我们定义了一个叫做 ram_floor_gb 的 Runtime field。它的用法基本和 Scripted fields 非常相似。那么搜索的结果是:

image.png

从上面的显示中,我们可以看出来多了一个叫做 ram_floor_gb 的字段。它的值是 8,也就是 8GB。


有了上面的了解,我们可以使用这 Runtime fields 来做一些搜索:

GET kibana_sample_data_logs/_search
{
  "runtime_mappings": {
    "ram_floor_gb": {
      "type": "long",
      "script": {
        "source": "emit(Math.floor(doc['machine.ram'].value /1024/1024/1024).longValue())"
      }
    }
  },
  "fields": [
    "ram_floor_gb",
    "machine.ram"
  ],
  "_source": false,
  "query": {
    "range": {
      "ram_floor_gb": {
        "gte": 0,
        "lte": 40
      }
    }
  }
}

上面的搜索将返回 ram_floor_gb 大于 0 且小于 40 GB 的所有文档。

image.png

我们也可以做如下的搜索:

GET kibana_sample_data_logs/_search
{
  "runtime_mappings": {
    "ram_floor_gb": {
      "type": "long",
      "script": {
        "source": "emit(Math.floor(doc['machine.ram'].value /1024/1024/1024).longValue())"
      }
    }
  },
  "fields": [
    "ram_floor_gb",
    "timestamp"
  ],
  "_source": false,
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "timestamp": {
              "gt": "2022-01-01"
            }
          }
        },
        {
          "range": {
            "ram_floor_gb": {
              "gte": 4,
              "lte": 20
            }
          }
        }
      ]
    }
  }
}

image.png

在我们搜索的时候,我们看出来:runtime field 和正常的字段一样进行使用。当然如果我们觉得这个字段 ram_floor_gb 是非常必要的,我们可以在数据摄入时通过 pipeline 的方法进行添加,这样我们就可以不再使用 Runtime fields 了。


相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
4月前
|
存储 缓存 监控
Elasticsearch elastic io 100%,但磁盘的iops和吞吐量没爆没啥原因吗?
Elasticsearch elastic io 100%,但磁盘的iops和吞吐量没爆没啥原因吗?
53 2
|
4月前
|
搜索推荐 索引
Elasticsearch elastic io 100%,但磁盘的iops和吞吐量没爆没啥原因吗?
Elasticsearch elastic io 100%,但磁盘的iops和吞吐量没爆没啥原因吗?
70 3
|
6月前
|
存储 自然语言处理 监控
ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案
ElasticSearch第三讲:ES详解 - Elastic Stack生态和场景方案
|
11月前
|
数据采集 数据可视化 搜索推荐
带你读《Elastic Stack 实战手册》之3:——3.1.1.从 Elasticsearch 到 Elastic Stack(上)
带你读《Elastic Stack 实战手册》之3:——3.1.1.从 Elasticsearch 到 Elastic Stack(上)
212 0
|
11月前
|
存储 安全 数据可视化
带你读《Elastic Stack 实战手册》之3:——3.1.1.从 Elasticsearch 到 Elastic Stack(中)
带你读《Elastic Stack 实战手册》之3:——3.1.1.从 Elasticsearch 到 Elastic Stack(中)
148 0
|
11月前
|
测试技术 Apache
带你读《Elastic Stack 实战手册》之3:——3.1.1.从 Elasticsearch 到 Elastic Stack(下)
带你读《Elastic Stack 实战手册》之3:——3.1.1.从 Elasticsearch 到 Elastic Stack(下)
146 0
|
11月前
|
存储 缓存 Ubuntu
带你读《Elastic Stack 实战手册》之8:—— 3.4.1.1.安装Elasticsearch(本地及docker)(1)
带你读《Elastic Stack 实战手册》之8:—— 3.4.1.1.安装Elasticsearch(本地及docker)(1)
164 0
|
11月前
|
缓存 安全 Java
带你读《Elastic Stack 实战手册》之8:—— 3.4.1.1.安装Elasticsearch(本地及docker)(2)
带你读《Elastic Stack 实战手册》之8:—— 3.4.1.1.安装Elasticsearch(本地及docker)(2)
136 1
|
11月前
|
Docker 容器
带你读《Elastic Stack 实战手册》之8:—— 3.4.1.1.安装Elasticsearch(本地及docker)(4)
带你读《Elastic Stack 实战手册》之8:—— 3.4.1.1.安装Elasticsearch(本地及docker)(4)
120 0
|
11月前
|
Linux C++ Docker
带你读《Elastic Stack 实战手册》之8:—— 3.4.1.1.安装Elasticsearch(本地及docker)(6)
带你读《Elastic Stack 实战手册》之8:—— 3.4.1.1.安装Elasticsearch(本地及docker)(6)
143 0

相关产品

  • 检索分析服务 Elasticsearch版