ElasticSearch简介（也称ES）
Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:
- 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。
- 实时分析的分布式搜索引擎。
- 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。
ElasticSearch数据类型
| 一级分类 | 二级分类 | 具体类型 |
|---|---|---|
| 基础类型 | 字符串类型 | string,text,keyword |
| -- | 整数类型 | integer,long,short,byte |
| -- | 逻辑类型 | boolean |
| -- | 浮点类型 | double,float,half_float,scaled_float |
| -- | 日期类型 | date |
| -- | 范围类型 | range |
| -- | 二进制类型 | binary |
| 复合类型 | 数组类型 | array |
| -- | 对象类型 | object |
| -- | 嵌套类型 | nested |
| 地理类型 | 地理坐标类型 | geo_point |
| -- | 地理地图 | geo_shape |
| 特殊类型 | IP类型 | ip |
| -- | 范围地图 | completion |
| -- | 令牌计数类型 | token_count |
| -- | 附件地图 | attachment |
| -- | 抽取类型 | percolator |
以上便是ES中的数据类型，下面便对其中的object和nested来做一个简单的介绍。
nested介绍
nested就是一个嵌套对象，是object数据类型的特殊版本，它允许对象数组相互独立地进行索引和查询，使用时和其他类型使用基本相同，下面便是我来举的一个例子，labels便是一个nested类型的数据
{
"settings": {
"index": {
"codec": "best_compression",
"mapping": {
"nested_fields": {
"limit": "2000"
},
"total_fields": {
"limit": "10000"
}
},
"refresh_interval": "1s",
"number_of_shards": "2",
"translog": {
"flush_threshold_size": "1gb",
"sync_interval": "30s",
"durability": "async"
},
"number_of_replicas": "1"
}
},
"mappings": {
"dynamic": true,
"properties": {
"id": {
"type": "long",
"doc_values": false,
"index": false
},
"name": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_smart"
},
"provinces": {
"type": "keyword",
"doc_values": false
},
"city": {
"type": "keyword"
},
"permissionLevel": {
"type": "integer",
"doc_values": false,
"index": false
},
"status": {
"type": "integer"
},
"labels": {
"type": "nested",
"properties": {
"label": {
"type": "keyword"
},
"classification": {
"type": "keyword"
}
}
}
}
}
}当需要使用这个嵌套类型中的数据进行过滤，统计时我们普遍会使用这个来做一个聚合查询，但是这个会出现一个问题，那便是，所聚合出来的数据只是nested对象的数据，而外部主体数据并没有聚合出来那便是一个问题
{
"size": 0,
"query": {
"bool": {
"must": [
{
"nested": {
"path": "labels",
"query": {
"term": {
"labels.classification": "行业"
}
}
}
}
]
}
},
"aggs": {
"genres": {
"nested": {
"path": "labels"
},
"aggs": {
"label_agg": {
"terms": {
"field": "labels.label"
},
"aggs": {
"count_sub": {
"sum": {
"field": "viewCpount"
}
}
}
},
"fll": {
"filter": {
"term": {
"labels.classification": "行业"
}
},
"aggs": {
"label_agg2": {
"terms": {
"field": "labels.label"
}
}
}
}
}
}
}
}之后，通过对官网文档，还有同事的讨论，当对nested对象使用聚合查询时，便需要时用reverse_nested，来回到root主体。这样便能够对nested之外的数据来进行聚合操作了。
{
"size": 0,
"query": {
"bool": {
"must": [
{
"nested": {
"path": "labels",
"query": {
"term": {
"labels.classification": "c1"
}
}
}
}
]
}
},
"aggs": {
"genres": {
"nested": {
"path": "labels"
},
"aggs": {
"fll": {
"filter": {
"term": {
"labels.classification": "c1"
}
},
"aggs": {
"label_agg2": {
"terms": {
"field": "labels.label"
},
"aggs": {
"res": {
"reverse_nested": {},
"aggs": {
"count_view": {
"sum": {
"field": "viewCount"
}
}
}
}
}
}
}
}
}
}
}
