【Elastic Engineering】Elasticsearch:使用 _validate API 在不执行查询的情况下验证查询

简介: Elasticsearch:使用 _validate API 在不执行查询的情况下验证查询

作者:刘晓国


我们知道有的 Elasticsearch 的查询是非常耗时的。我们可以使用 _validate API 来对我们的 DSL 搜索进行一些验证。在很多的情况下,我们甚至可以使用这个 API 来验证不同的查询方法之间的区别或相同的地方。Elasticsearch 的 DSL 最终会转换为 Apache Lucene 的查询。今天,我将使用一个例子来展示这个 API 的用法。


首先,我们创建一个如下的索引及文档:

PUT my_index/_doc/1
{
  "content": "I like Elastic search because of its fast search speed, scalability and relevance"
}

我们创建了上述的一个索引叫做 my_index,并且含有一个文档。


我们可以针对这个文档进行如下的查询:

GET my_index/_search
{
  "query": {
    "match": {
      "content": {
        "query": "Elastic speed scalability relevance",
        "minimum_should_match": 2
      }
    }
  }
}

上面的查询返回的结果是:

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.1507283,
    "hits" : [
      {
        "_index" : "my_index",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.1507283,
        "_source" : {
          "content" : "I like Elastic search because of its fast search speed, scalability and relevance"
        }
      }
    ]
  }
}

上面的查询显示了一个分数为 1.15,并且我们查询的结果是文档含有 Elastic speed scalability relevance 这其中四个关键字中的任何两个。


在 Elasticsearch 中,我们也可以使用另外一种方法来进行查询:

GET my_index/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "content": "Elastic"
          }
        },
        {
          "match": {
            "content": "speed"
          }
        },
        {
          "match": {
            "content": "scalability"
          }
        },
        {
          "match": {
            "content": "relevance"
          }
        }
      ],
      "minimum_should_match": 2
    }
  }
}

上面的查询返回的结果是:

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.1507283,
    "hits" : [
      {
        "_index" : "my_index",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.1507283,
        "_source" : {
          "content" : "I like Elastic search because of its fast search speed, scalability and relevance"
        }
      }
    ]
  }
}

我们发现这两种方法查询的结果是完全一样的,而且它们的得分也是一样的。都是 1.15,那这两种方法到底是一样的吗?


我们可以通过 _validate API 接口来进行比较:

GET my_index/_validate/query?rewrite=true
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "content": "Elastic"
          }
        },
        {
          "match": {
            "content": "speed"
          }
        },
        {
          "match": {
            "content": "scalability"
          }
        },
        {
          "match": {
            "content": "relevance"
          }
        }
      ],
      "minimum_should_match": 2
    }
  }
}

上面的命令的返回结果是:

{
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "valid" : true,
  "explanations" : [
    {
      "index" : "my_index",
      "valid" : true,
      "explanation" : "(content:elastic content:speed content:scalability content:relevance)~2"
    }
  ]
}

在 explanations 这个部分,我们可以看到

"explanation" : "(content:elastic content:speed content:scalability content:relevance)~2"

这个部分是真正要在 Apache Lucene 的部分进行查询的方法。


我们可以使用同样的方法来对 match 查询来进行验证:

GET my_index/_validate/query?rewrite=true
{
  "query": {
    "match": {
      "content": {
        "query": "Elastic speed scalability relevance",
        "minimum_should_match": 2
      }
    }
  }
}

上面的方法返回的结果是:

{
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "valid" : true,
  "explanations" : [
    {
      "index" : "my_index",
      "valid" : true,
      "explanation" : "(content:elastic content:speed content:scalability content:relevance)~2"
    }
  ]
}

从上面的结果可以看出来,这两种方法的查询的结果是完全一样的。针对 Apache Lucene 的查询完全是一样的,虽然它们的 DSL 的写法完全不同。


我们甚至可以针对如下的查询来进行验证:

GET my_index/_validate/query?rewrite=true
{
  "query": {
    "query_string": {
      "default_field": "content",
      "query": "Elastic speed scalability relevance",
      "minimum_should_match": "50%"
    }
  }
}

上面的查询结果为:

{
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "valid" : true,
  "explanations" : [
    {
      "index" : "my_index",
      "valid" : true,
      "explanation" : "(content:elastic content:speed content:scalability content:relevance)~2"
    }
  ]
}

显然它的查询结果和之前的没有什么不一样的。


我们也可以利用 explain 参数来对查询进行解释,比如:

GET my_index/_validate/query?explain=true
{
  "query": {
    "match": {
      "content": {
        "query": "Elastic speed scalability relevance",
        "minimum_should_match": 2
      }
    }
  }
}

上面显示的结果和之前的是一样的:

{
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "valid" : true,
  "explanations" : [
    {
      "index" : "my_index",
      "valid" : true,
      "explanation" : "(content:elastic content:speed content:scalability content:relevance)~2"
    }
  ]
}

如果我们不加任何的参数,我们并没有执行这个查询,只是验证一下查询是否为有效的查询:

GET my_index/_validate/query
{
  "query": {
    "match": {
      "content": {
        "query": "Elastic speed scalability relevance",
        "minimum_should_match": 2
      }
    }
  }
}

上面返回的结果为:

{
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "valid" : true
}

上面验证是成功的。


相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
缓存 监控 前端开发
顺企网 API 开发实战:搜索 / 详情接口从 0 到 1 落地(附 Elasticsearch 优化 + 错误速查)
企业API开发常陷参数、缓存、错误处理三大坑?本指南拆解顺企网双接口全流程,涵盖搜索优化、签名验证、限流应对,附可复用代码与错误速查表,助你2小时高效搞定开发,提升响应速度与稳定性。
|
API 网络安全 网络架构
【Azure APIM】解答REST API实现"禁用自签名证书的证书链验证"中的backends参数值从那里取值的问题?
本文介绍APIM服务调用后端API时因自签名证书导致500错误的解决方案。通过REST API禁用证书链验证,关键在于获取正确的backendId(即APIM中配置的Backend名称),并调用PATCH接口设置validateCertificateChain为false,从而解决SSL/TLS信任问题。
386 7
|
缓存 算法 API
从 0 实现 API 接口签名验证系统:基于 HMAC-SHA256 的防篡改方案(附 Python 全代码)
本文介绍基于 的 API 接口签名验证系统,实现防篡改与防重放攻击,包含完整设计原理、签名生成规则及可运行的 Python 客户端与服务端代码,并提供安全性优化与部署建议。
|
数据采集 JSON 数据挖掘
Elasticsearch 的DSL查询,聚合查询与多维度数据统计
Elasticsearch的DSL查询与聚合查询提供了强大的数据检索和统计分析能力。通过合理构建DSL查询,用户可以高效地搜索数据,并使用聚合查询对数据进行多维度统计分析。在实际应用中,灵活运用这些工具不仅能提高查询效率,还能为数据分析提供深入洞察。理解并掌握这些技术,将显著提升在大数据场景中的分析和处理能力。
1059 20
|
存储 人工智能 自然语言处理
Elasticsearch Inference API增加对阿里云AI的支持
本文将介绍如何在 Elasticsearch 中设置和使用阿里云的文本生成、重排序、稀疏向量和稠密向量服务,提升搜索相关性。
909 14
Elasticsearch Inference API增加对阿里云AI的支持
|
存储 人工智能 API
(Elasticsearch)使用阿里云 infererence API 及 semantic text 进行向量搜索
本文展示了如何使用阿里云 infererence API 及 semantic text 进行向量搜索。
866 8
|
存储 数据可视化 API
重磅干货,免费三方网络验证[用户系统+CDK]全套API接口分享教程。
本套网络验证系统提供全面的API接口,支持用户注册、登录、数据查询与修改、留言板管理等功能,适用于不想自建用户系统的APP开发者。系统还包含CDK管理功能,如生成、使用、查询和删除CDK等。支持高自定义性,包括20个自定义字段,满足不同需求。详细接口参数及示例请参考官方文档。
977 7
|
监控 API 索引
Elasticsearch集群使用 _cluster/health API
Elasticsearch集群使用 _cluster/health API
962 2
|
Unix API 索引
Elasticsearch集群使用 _cat/health API
Elasticsearch集群使用 _cat/health API
541 1
|
存储 JSON 监控
大数据-167 ELK Elasticsearch 详细介绍 特点 分片 查询
大数据-167 ELK Elasticsearch 详细介绍 特点 分片 查询
1138 4

热门文章

最新文章

相关产品

  • 检索分析服务 Elasticsearch版