ElasticSearch查询模板Mustache

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时计算 Flink 版,5000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: ElasticSearch查询模板Mustache

Mustache模板引擎 (Search Template)

https://elasticstack.blog.csdn.net/article/details/100555460

Elasticsearch使用Mustache模板引擎(参考http://mustache.github.io)来为查询模板生成可用的查询语句。如你所见,每个变量被双大括号包裹,这一点是Mustache规范要求的,是该模板引擎间接引用变量的方式。Mustache模板引擎的完整语法不在本书讨论范围内,不过我们可以在这里简单介绍一下它最具魅力的部分,包括条件表达式、循环和默认值。

使用模板好处:

  • 避免在多个地方重复代码
  • 更容易测试和执行您的查询
  • 在应用程序间共享查询
  • 允许用户只执行一些预定义的查询
  • 将搜索逻辑与应用程序逻辑分离

Mustache语法的详细内容请参阅 http://mustache.github.io/mustache.5.html

1. 条件表达式

{ {val}}表达式用来插入变量val的值。{ {#val}}和{ {/val}}则用来在变量val取值计算为true时把位于它们之间的变量标记替换为变量值。

我们看一下下面这个示例:

curl -XGET http://10.8.10.12:9200/operator_website_index/_search/template?pretty -H 'Content-Type: application/json' -d '
{
    "template":"{ { {#limit}}\"size\":2 { {/limit}} }",
    "params":{
        "limit": false
    }
}'

limittrue 或者 有值时(随便赋值只有有内容) 条件则生效 size: 2条件生效

limitfalse或者未设置limit参数,条件size: 2不生效

2. 循环

循环结构定义和条件表达式一模一样,都位于{ {#val}}和{ {/val}}之间。如果表达式中变量取值是数组,则可以使用{ {.}}标记来指代当前变量值。

例如,假定我们需要模板引擎遍历一个词项数组来生成一个词项查询,可以执行如下命令:

curl -XGET http://10.8.10.12:9200/operator_website_index/_search/template?pretty -H 'Content-Type: application/json' -d '
{
        "template":{
                "query":{
                        "terms":{
                                "website_name":[
                                        "{ {#website_name_param}}",
                                        "{ {.}}",
                                        "{ {/website_name_param}}"
                                ]
                        }
                }
        },
        "params":{
                "website_name_param":["fron","罗浮宫"]
        }
}'

3. 默认值

默认值标记允许我们在参数未定义时给它设置默认取值。比如,给var变量设置默认值语法的代码如下:

{ {var}}{ {^var}}default value{ {/var}}

举个例子,假定我们要给查询模板中的website_name_param参数设置默认值“1”,可以使用如下命令:

curl -XGET http://10.8.10.12:9200/operator_website_index/_search/template?pretty -H 'Content-Type: application/json' -d '
{
    "template":{
        "query":{
            "term":{
                            "website_name": "{ {website_name_param}}{ {^website_name_param}}1{ {/website_name_param}}"
                        }
                }
        },
        "params":{
                "website_name_param": "罗浮宫"
        }
}'

这个命令将从Elasticsearch查询出所有website_name字段中包含罗浮宫的文档。而如果我们在params片段中不指定phrase参数的值,website_name_param则使用默认1来搜索。

4. 创建Mustache模板保存到ElasticSearch

普通查询Demo

创建template

curl -XPOST http://10.8.10.12:9200/_scripts/my_search_template -H 'Content-Type: application/json' -d '
    {
      "script": {
        "lang": "mustache",
        "source": {
          "query": {
            "match": {
              "{ {my_field}}": "{ {my_value}}"
            }
          }
        }
      }
    }'

在这里,我们定义了一个叫做my_search_template的search template。如果我们想更新这个search template,我们可以直接进行修改,然后再次运行上面的命令即可。

在match的字段里,我们定义了两个参数:my_field及my_value。下面,我们来首先建立一个叫做twitter的数据库:

curl -XPUT http://10.8.10.12:9200/twitter/_doc/1  -H 'Content-Type: application/json' -d '
    {
      "user" : "双榆树-张三",
      "message" : "今儿天气不错啊,出去转转去",
      "uid" : 2,
      "age" : 20,
      "city" : "北京",
      "province" : "北京",
      "country" : "中国",
      "address" : "中国北京市海淀区",
      "location" : {
        "lat" : "39.970718",
        "lon" : "116.325747"
      }
    }'

curl -XPUT http://10.8.10.12:9200/twitter/_doc/2  -H 'Content-Type: application/json' -d '
    {
      "user" : "虹桥-老吴",
      "message" : "好友来了都今天我生日,好友来了,什么 birthday happy 就成!",
      "uid" : 7,
      "age" : 90,
      "city" : "上海",
      "province" : "上海",
      "country" : "中国",
      "address" : "中国上海市闵行区",
      "location" : {
        "lat" : "31.175927",
        "lon" : "121.383328"
      }
    }'

我们这里把上面的两个文档存于到twitter的index之中。我们现在可以使用我们刚才定义的search template来进行搜索:

curl -XGET http://10.8.10.12:9200/twitter/_search/template -H 'Content-Type: application/json' -d '
    {
      "id": "my_search_template",
      "params": {
        "my_field": "city",
        "my_value": "北京"
      }
    }'

返回结果

显示它只显示了我们的city为北京的一个文档,另外一个上海的文档没有做任何的显示。说明我们定义的search template是工作的。

{
   
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
   
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
   
    "total" : {
   
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.3862942,
    "hits" : [
      {
   
        "_index" : "twitter",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.3862942,
        "_source" : {
   
          "user" : "双榆树-张三",
          "message" : "今儿天气不错啊,出去转转去",
          "uid" : 2,
          "age" : 20,
          "city" : "北京",
          "province" : "北京",
          "country" : "中国",
          "address" : "中国北京市海淀区",
          "location" : {
   
            "lat" : "39.970718",
            "lon" : "116.325747"
          }
        }
      }
    ]
  }
}

条件表达式(条件判断)Demo

创建template

curl -XPOST http://10.8.10.12:9200/_scripts/docs_from_beijing_and_age -H 'Content-Type: application/json' -d '
{
      "script": {
        "lang": "mustache",
        "source": "{\"query\": {\"bool\": {\"must\": [{\"match\": {\"city\": \"{ {search_term}}\"}}{ {#search_age}},{\"range\": {\"age\": {\"gte\": { {search_age}}}}}{ {/search_age}}]}}}"
      }
}'

为方便查看我们将其格式化

POST _scripts/docs_from_beijing_and_age
    {
      "script": {
        "lang": "mustache",
        "source": 
    """
        {
          "query": {
            "bool": {
              "must": [
                {
                  "match": {
                    "city": "{ {search_term}}"
                  }
                }
                { {#search_age}}
                ,
                {
                  "range": {
                    "age": {
                      "gte": { {search_age}}
                    }
                  }
                }
                { {/search_age}}
              ]
            }
          }
        }
    """
      }
    }

在这里,我们同时定义了两个变量:search_term及search_age。针对search_age,我们做了一个判断,如果它有定义,及做一个range的查询。如果没有定义,就只用search_term。我们来做如下的实验:

curl -XGET http://10.8.10.12:9200/twitter/_search/template  -H 'Content-Type: application/json' -d '
    {
      "id": "docs_from_beijing_and_age",
      "params": {
        "search_term": "北京"
      }
    }'

返回结果

{
   
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
   
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
   
    "total" : {
   
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.3862942,
    "hits" : [
      {
   
        "_index" : "twitter",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.3862942,
        "_source" : {
   
          "user" : "双榆树-张三",
          "message" : "今儿天气不错啊,出去转转去",
          "uid" : 2,
          "age" : 20,
          "city" : "北京",
          "province" : "北京",
          "country" : "中国",
          "address" : "中国北京市海淀区",
          "location" : {
   
            "lat" : "39.970718",
            "lon" : "116.325747"
          }
        }
      }
    ]
  }
}

显然,city为北京的文档已经被搜索到了。如果我们做如下的查询:

curl -XGET http://10.8.10.12:9200/twitter/_search/template  -H 'Content-Type: application/json' -d '
    {
      "id": "docs_from_beijing_and_age",
      "params": {
        "search_term": "北京",
        "search_age": "30"
      }
    }
'

我们将搜索不到任何的结果,这是因为在这次查询中search_age已经被启用,而且在数据库中没有一个文档是来自“北京”,并且年龄大于30的。我们可以做如下的查询:

curl -XGET http://10.8.10.12:9200/twitter/_search/template?pretty  -H 'Content-Type: application/json' -d '
    {
      "id": "docs_from_beijing_and_age",
      "params": {
        "search_term": "北京",
        "search_age": "20"
      }
    }'

那么这次的显示结果为:

{
   
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
   
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
   
    "total" : {
   
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 2.3862944,
    "hits" : [
      {
   
        "_index" : "twitter",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 2.3862944,
        "_source" : {
   
          "user" : "双榆树-张三",
          "message" : "今儿天气不错啊,出去转转去",
          "uid" : 2,
          "age" : 20,
          "city" : "北京",
          "province" : "北京",
          "country" : "中国",
          "address" : "中国北京市海淀区",
          "location" : {
   
            "lat" : "39.970718",
            "lon" : "116.325747"
          }
        }
      }
    ]
  }
}

5. 查询Search template

指定template进行查询template设置内容

curl -XGET http://10.8.10.12:9200/_scripts/<templateid>

templateid为我们设置的模板id

curl -XGET http://10.8.10.12:9200/_scripts/docs_from_beijing_and_age?pretty
{
   
  "_id" : "docs_from_beijing_and_age",
  "found" : true,
  "script" : {
   
    "lang" : "mustache",
    "source" : "{\"query\": {\"bool\": {\"must\": [{\"match\": {\"city\": \"{ {search_term}}\"}}{ {#search_age}},{\"range\": {\"age\": {\"gte\": { {search_age}}}}}{ {/search_age}}]}}}"
  }
}

6. 删除Search template

curl -XDELETE http://10.8.10.12:9200/_scripts/<templateid>

7. 验证search template

curl -XGET http://10.8.10.12:9200/_render/template?pretty -H 'Content-Type: application/json' -d '
{
    "source": "{\"query\": {\"bool\": {\"must\": [{\"match\": {\"city\": \"{ {search_term}}\"}}{ {#search_age}},{\"range\": {\"age\": {\"gte\": { {search_age}}}}}{ {/search_age}}]}}}"
            ,"params": {
        "search_term": "北京",
        "search_age": "20"
      }
}'

返回结果为我们实际应用的查询条件

{
   
  "template_output" : {
   
    "query" : {
   
      "bool" : {
   
        "must" : [
          {
   
            "match" : {
   
              "city" : "北京"
            }
          },
          {
   
            "range" : {
   
              "age" : {
   
                "gte" : 20
              }
            }
          }
        ]
      }
    }
  }
}

8. 验证已经保存search template

curl -XGET http://10.8.10.12:9200/_render/template/docs_from_beijing_and_age?pretty -H 'Content-Type: application/json' -d '
{
        "params": {
        "search_term": "北京",
        "search_age": "20"
      }
}'

返回结果为我们实际应用的查询条件

{
   
  "template_output" : {
   
    "query" : {
   
      "bool" : {
   
        "must" : [
          {
   
            "match" : {
   
              "city" : "北京"
            }
          },
          {
   
            "range" : {
   
              "age" : {
   
                "gte" : 20
              }
            }
          }
        ]
      }
    }
  }
}
相关实践学习
利用Elasticsearch实现地理位置查询
本实验将分别介绍如何使用Elasticsearch7.10版本进行全文检索、多语言检索和地理位置查询三个Elasticsearch基础检索子场景的实现。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
12天前
|
存储 自然语言处理 关系型数据库
Elasticsearch 查询时 term、match、match_phrase、match_phrase_prefix 的区别
【7月更文挑战第3天】Elasticsearch 查询时 term、match、match_phrase、match_phrase_prefix 的区别
|
7天前
|
自然语言处理 索引
Elasticsearch 常用查询语句大全
【7月更文挑战第8天】Elasticsearch 常用查询语句大全
|
17天前
|
索引
Elasticsearch 精确查询:术语查询、多术语查询、主键查询、范围查询、存在查询、前缀查询、正则查询与通配符查询
Elasticsearch 精确查询:术语查询、多术语查询、主键查询、范围查询、存在查询、前缀查询、正则查询与通配符查询
21 4
|
19天前
|
存储 JSON API
Elasticsearch中的模板:定义、作用与实践
Elasticsearch中的模板:定义、作用与实践
|
26天前
|
SQL 安全 数据挖掘
Elasticsearch如何聚合查询多个统计值,如何嵌套聚合?并相互引用,统计索引中某一个字段的空值率?语法是怎么样的?
Elasticsearch聚合查询用于复杂数据分析,包括统计空值率。示例展示了如何计算字段`my_field`非空非零文档的百分比。查询分为三步:总文档数计数、符合条件文档数计数及计算百分比。聚合概念涵盖度量、桶和管道聚合。脚本在聚合中用于动态计算。常见聚合类型如`sum`、`avg`、`date_histogram`等。组合使用可实现多值统计、嵌套聚合和空值率计算。[阅读更多](https://zhangfeidezhu.com/?p=515)
111 0
Elasticsearch如何聚合查询多个统计值,如何嵌套聚合?并相互引用,统计索引中某一个字段的空值率?语法是怎么样的?
|
8天前
|
Java
Java 实现 Elasticsearch 查询全部数据
【7月更文挑战第7天】Java 实现 Elasticsearch 查询全部数据
|
13天前
|
存储 关系型数据库 MySQL
【Elasticsearch】在es中实现mysql中的FIND_IN_SET查询条件
【Elasticsearch】在es中实现mysql中的FIND_IN_SET查询条件
20 0
|
19天前
|
存储 缓存 Java
掌握Elasticsearch集群参数查询API
掌握Elasticsearch集群参数查询API
|
24天前
|
存储 数据采集 负载均衡
Elasticsearch系列---搜索执行过程及scroll游标查询
Elasticsearch系列---搜索执行过程及scroll游标查询
|
2月前
|
运维 数据挖掘 Serverless
阿里云Elasticsearch Serverless助力某电商平台公司实现商品订单数据的实时写入查询
某电商平台公司采用阿里云Elasticsearch Serverless解决方案,实现商品、订单和其他关键信息的写入和查询的实时响应。
261 1

相关产品

  • 检索分析服务 Elasticsearch版