Elasticsearch增删改查 之 —— Get查询

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介:

GET API是Elasticsearch中常用的操作,一般用于验证文档是否存在;或者执行CURD中的文档查询。与检索不同的是,GET查询是实时查询,可以实时查询到索引结果。而检索则是需要经过处理,一般默认是1秒钟吧...才能搜索到。合理利用这些方法,可以更灵活的使用Elasticsearch。
更多内容参考ELK教程

阅读这篇文档,发现自己对很多地方不是很理解。比如存储机制、版本维护等等。暂时先做为阶段性的学习吧...后续更新在回来补补....

查询样例

Get API允许基于ID字段从Elasticsearch查询JSON文档,下面就是一个查询的例子:

curl -XGET 'http://localhost:9200/twitter/tweet/1'

上面的命令表示,在twitter索引的tweet类型中查询id为1的文档,返回结果如下:

{
    "_index" : "twitter",
    "_type" : "tweet",
    "_id" : "1",
    "_version" : 1,
    "found": true,
    "_source" : {
        "user" : "kimchy",
        "postDate" : "2009-11-15T14:12:12",
        "message" : "trying out Elasticsearch"
    }
}

上面返回的数据包括文档的基本内容,_index是索引名称,_type是类型,_id是ID,_version是版本号。_source字段包括了文档的基本内容;found字段代表是否找到。

这个API支持使用HEAD方式提交,这样可以验证这个ID是否存在,而不会返回无用的数据。

curl -XHEAD -i 'http://localhost:9200/twitter/tweet/1'

实时

默认情况下get API是实时的,并不会受到索引的刷新频率的影响。(也就是说,只要索引的数据,就可以立马查询到)

有的时候我们可能想要关闭实时查询,这样可以设置realtime=false。也可以在配置文件中配置,使之全局可用,即配置action.get.realtime为false。

When getting a document, one can specify fields to fetch from it. They will, when possible, be fetched as stored fields (fields mapped as stored in the mapping). When using realtime GET, there is no notion of stored fields (at least for a period of time, basically, until the next flush), so they will be extracted from the source itself (note, even if source is not enabled). It is a good practice to assume that the fields will be loaded from source when using realtime GET, even if the fields are stored.当查询文档的时候,可以从文档中获取特定的字段。一般来说这些字段可能是被存储的。当我们使用实时GET查询的时候,就会忽略这些存储的字段,直接从source里面拿到字段数据。---- 个人不是很理解这段,于是把原文贴上来,要是理解错误,还请指正。

记得映射类型中,字段有几个属性,类型、是否被存储、是否被分析,我猜想上面指的应该就是这个被存储吧。也就是说,GET查询的时候并不会从这些存储的字段中查数据,而是直接从source中查询。那么这些存储的字段使用来干嘛的呢?暂且记下....说不定以后整理的文档中会遇到!

类型可选

API中类型_type是可选的,如果想要查询所有的类型,可以直接指定类型为_all,从而匹配所有的类型。

source过滤

默认情况下get操作会返回_source字段,除非你使用了fields字段或者禁用了_source字段。通过设置_source属性,可以禁止返回source内容:

curl -XGET 'http://localhost:9200/twitter/tweet/1?_source=false'

如果想要返回特定的字段,可以使用_source_include或者_source_exclude进行过滤。可以使用逗号分隔来设置多种匹配模式,比如:

curl -XGET 'http://localhost:9200/twitter/tweet/1?_source_include=*.id&_source_exclude=entities'

如果希望返回特定的字段,也可以直接写上字段的名称:

curl -XGET 'http://localhost:9200/twitter/tweet/1?_source=*.id,retweeted'

字段

get操作允许设置fields字段,返回特定的字段:

curl -XGET 'http://localhost:9200/twitter/tweet/1?fields=title,content'

如果请求的字段没有被存储,那么他们会从source中分析出来,这个功能也可以用source_filter来替代。

元数据比如_routing_parent是永远不会被返回的。

Also only leaf fields can be returned via the field option. So object fields can’t be returned and such requests will fail.只有叶子字段才能通过field选项返回.所以对象字段这种是不能返回的,这种请求也会失败。

Generated fields

如果在执行完索引操作,没有刷新,那么GET操作会读取translog的内容来查询文档。然而有一些字段仅仅是在索引的时候产生的。如果你尝试读取索引中的生成的字段,就会出现错误。可以设置ignore_erros_on_generated_fields=true来忽略错误。

其实个人也不太理解这个生成字段是什么意思?

不过这个Translog比较有意思,是在文档的后面才有介绍。就是索引的数据要进行存储,那么总不可能索引一条就更新一次Lucene结构吧。所以就搞了个translog,数据的变动会先放在translog里面,再刷新到es中。实时查询,其实是读取了translog中,还未持久化的数据。

仅返回_source

使用/{index}/{type}/{id}/_source可以仅仅返回_source字段,而不必返回过多不必要的信息,浪费网络带宽。

curl -XGET 'http://localhost:9200/twitter/tweet/1/_source'

也可以使用过滤机制:

curl -XGET 'http://localhost:9200/twitter/tweet/1/_source?_source_include=*.id&_source_exclude=entities'

也是支持使用HEAD方式,验证是否存在:

curl -XHEAD -i 'http://localhost:9200/twitter/tweet/1/_source'

路由

当索引的时候指定了路由,那么查询的时候就一定要指定路由。

curl -XGET 'http://localhost:9200/twitter/tweet/1?routing=kimchy'

如果路由信息不正确,就会查找不到文档

Preference

控制为get请求维护一个分片的索引,这个索引可以设置为:

  • _primary 这个操作仅仅会在主分片上执行。
  • _local 这个操作会在本地的分片上执行。
  • Custom (string) value 用户可以自定义值,对于相同的分片可以设置相同的值。这样可以保证不同的刷新状态下,查询不同的分片。就像sessionid或者用户名一样。

刷新

refresh参数可以让每次get之前都刷新分片,使这个值可以被搜索。设置true的时候,尽量要考虑下性能问题,因为每次刷新都会给系统带来一定的压力

分布式

get操作会通过特定的哈希方法,把请求分配给特定的分片进行查询。由于在分布式的环境下,主分片和备份分片作为一个组,都可以支持get请求。这就意味着,分片的数量越多,get执行的规模就越大。

版本

You can use the version parameter to retrieve the document only if it’s current version is equal to the specified one. This behavior is the same for all version types with the exception of version type FORCE which always retrieves the document.你可以使用version参数检索文档,不过version参数的值必须等于当前版本号。当版本类型为FORCE的时候,所有的版本类型都可以检索文档。

关于es的版本号,理解的真是不够透彻....

在ES的内部,会给那些被删除或者被整个替换的文档打上一个标记。老版本的文档并不会立即删除,当然你也不能访问到它。ES会在后台清理,以便能有更多的空间索引数据。

本文转自博客园xingoo的博客,原文链接:Elasticsearch增删改查 之 —— Get查询,如需转载请自行联系原博主。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2月前
|
存储 固态存储 Java
Elasticsearch中查询性能优化
Elasticsearch中查询性能优化
193 0
|
3月前
Elasticsearch之RestClient查询文档
Elasticsearch之RestClient查询文档
139 1
|
4月前
|
JSON 自然语言处理 数据库
数据库-ElasticSearch入门(索引、文档、查询)
数据库-ElasticSearch入门(索引、文档、查询)
288 0
|
3月前
|
缓存 JSON API
Elasticsearch-05Elasticsearch之查询与过滤
Elasticsearch-05Elasticsearch之查询与过滤
165 0
|
5月前
|
JSON 自然语言处理 数据格式
分布式系列教程(33) -ElasticSearch DSL语言查询与过滤
分布式系列教程(33) -ElasticSearch DSL语言查询与过滤
151 0
|
2月前
|
缓存 算法 索引
【Elasticsearch专栏 07】深入探索:Elasticsearch的倒排索引如何进行模糊查询和通配符查询
Elasticsearch的倒排索引支持模糊查询和通配符查询,通过特定的算法和数据结构,能够实现对关键词的模糊匹配和通配符匹配。这两种查询类型提供了更灵活的搜索功能,但可能影响查询性能,需结合优化策略使用。
|
2月前
|
缓存 自然语言处理 数据挖掘
一篇文章让你学会Elasticsearch中的查询
一篇文章让你学会Elasticsearch中的查询
137311 118
|
2月前
|
测试技术 定位技术 API
万字长文:一文彻底搞懂Elasticsearch中Geo数据类型查询、聚合、排序
万字长文:一文彻底搞懂Elasticsearch中Geo数据类型查询、聚合、排序
94614 140
|
2月前
|
JSON 前端开发 API
【Elasticsearch】搜索结果处理和RestClient查询文档
【Elasticsearch】搜索结果处理和RestClient查询文档
337 0
|
2月前
|
JSON 自然语言处理 算法
【Elasticsearch】DSL查询文档
【Elasticsearch】DSL查询文档
314 0

热门文章

最新文章