Elasticsearch中nested聚合操作

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 在Elasticsearch实战场景中,我们或多或少会遇到嵌套文档的组合形式,反映在ES中称为父子文档。父子文档的实现,至少包含以下两种方式:1)父子文档2)Nested嵌套类型

ElasticSearch简介(也称ES)

Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单,它不仅包括了全文搜索功能,还可以进行以下工作:

  • 分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索。
  • 实时分析的分布式搜索引擎。
  • 可以扩展到上百台服务器,处理PB级别的结构化或非结构化数据。

ElasticSearch数据类型

一级分类 二级分类 具体类型
基础类型 字符串类型 string,text,keyword
-- 整数类型 integer,long,short,byte
-- 逻辑类型 boolean
-- 浮点类型 double,float,half_float,scaled_float
-- 日期类型 date
-- 范围类型 range
-- 二进制类型 binary
复合类型 数组类型 array
-- 对象类型 object
-- 嵌套类型 nested
地理类型 地理坐标类型 geo_point
-- 地理地图 geo_shape
特殊类型 IP类型 ip
-- 范围地图 completion
-- 令牌计数类型 token_count
-- 附件地图 attachment
-- 抽取类型 percolator

以上便是ES中的数据类型,下面便对其中的object和nested来做一个简单的介绍。

nested介绍

nested就是一个嵌套对象,是object数据类型的特殊版本,它允许对象数组相互独立地进行索引和查询,使用时和其他类型使用基本相同,下面便是我来举的一个例子,labels便是一个nested类型的数据

{
  "settings": {
    "index": {
      "codec": "best_compression",
      "mapping": {
        "nested_fields": {
          "limit": "2000"
        },
        "total_fields": {
          "limit": "10000"
        }
      },
      "refresh_interval": "1s",
      "number_of_shards": "2",
      "translog": {
        "flush_threshold_size": "1gb",
        "sync_interval": "30s",
        "durability": "async"
      },
      "number_of_replicas": "1"
    }
  },
  "mappings": {
    "dynamic": true,
    "properties": {
      "id": {
        "type": "long",
        "doc_values": false,
        "index": false
      },
      "name": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      },
      "provinces": {
        "type": "keyword",
        "doc_values": false
      },
      "city": {
        "type": "keyword"
      },
      "permissionLevel": {
        "type": "integer",
        "doc_values": false,
        "index": false
      },
      "status": {
        "type": "integer"
      },
      "labels": {
        "type": "nested",
        "properties": {
          "label": {
            "type": "keyword"
          },
          "classification": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

当需要使用这个嵌套类型中的数据进行过滤,统计时我们普遍会使用这个来做一个聚合查询,但是这个会出现一个问题,那便是,所聚合出来的数据只是nested对象的数据,而外部主体数据并没有聚合出来那便是一个问题

{
  "size": 0,
  "query": {
    "bool": {
      "must": [
        {
          "nested": {
            "path": "labels",
            "query": {
              "term": {
                "labels.classification": "行业"
              }
            }
          }
        }
      ]
    }
  },
  "aggs": {
    "genres": {
      "nested": {
        "path": "labels"
      },
      "aggs": {
        "label_agg": {
          "terms": {
            "field": "labels.label"
          },
          "aggs": {
            "count_sub": {
              "sum": {
                "field": "viewCpount"
              }
            }
          }
        },
        "fll": {
          "filter": {
            "term": {
              "labels.classification": "行业"
            }
          },
          "aggs": {
            "label_agg2": {
              "terms": {
                "field": "labels.label"
              }
            }
          }
        }
      }
    }
  }
}

之后,通过对官网文档,还有同事的讨论,当对nested对象使用聚合查询时,便需要时用reverse_nested,来回到root主体。这样便能够对nested之外的数据来进行聚合操作了。


{
  "size": 0,
  "query": {
    "bool": {
      "must": [
        {
          "nested": {
            "path": "labels",
            "query": {
              "term": {
                "labels.classification": "c1"
              }
            }
          }
        }
      ]
    }
  },
  "aggs": {
    "genres": {
      "nested": {
        "path": "labels"
      },
      "aggs": {
        "fll": {
          "filter": {
            "term": {
              "labels.classification": "c1"
            }
          },
          "aggs": {
            "label_agg2": {
              "terms": {
                "field": "labels.label"
              },
              "aggs": {
                "res": {
                  "reverse_nested": {},
                  "aggs": {
                    "count_view": {
                      "sum": {
                        "field": "viewCount"
                      }
                    }
                  }
                }
              }
            }
          }
        }
      }
    }
  }
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
1月前
|
存储 搜索推荐 Java
|
4月前
|
JSON 自然语言处理 Java
Java原生操作Elasticsearch
Java原生操作Elasticsearch
36 0
|
6月前
|
存储 人工智能 自然语言处理
Elasticsearch Relevance Engine---为AI变革提供高级搜索能力[ES向量搜索、常用配置参数、聚合功能等详解]
Elasticsearch Relevance Engine---为AI变革提供高级搜索能力[ES向量搜索、常用配置参数、聚合功能等详解]
Elasticsearch Relevance Engine---为AI变革提供高级搜索能力[ES向量搜索、常用配置参数、聚合功能等详解]
|
4月前
|
安全 大数据 API
elasticsearch|大数据|elasticsearch的api部分实战操作以及用户和密码的管理
elasticsearch|大数据|elasticsearch的api部分实战操作以及用户和密码的管理
64 0
|
1月前
|
存储 JSON Go
ElasticSearch的HTTP操作 和Go客户端
【2月更文挑战第13天】ElasticSearch的HTTP操作 和Go客户端操作
40 0
|
2月前
|
存储 SQL Java
聚合在Elasticsearch中的使用及示例验证
聚合在Elasticsearch中的使用及示例验证
71 0
|
2月前
|
测试技术 定位技术 API
万字长文:一文彻底搞懂Elasticsearch中Geo数据类型查询、聚合、排序
万字长文:一文彻底搞懂Elasticsearch中Geo数据类型查询、聚合、排序
94614 140
|
2月前
|
iOS开发 索引 MacOS
Elasticsearch 聚合字段aggregate-metric-double
Elasticsearch 聚合字段aggregate-metric-double
22 0
|
2月前
|
缓存 Java API
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——聚合与搜索(三)
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——聚合与搜索(三)
|
4月前
|
SQL
ElasticSearch Script操作数据
ElasticSearch Script操作数据
127 0

热门文章

最新文章