Nested 数据类型—Elastic Stack 实战手册

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Nested 是 Object 的专用版本,允许对象数组以可以彼此独立查询的方式进行索引。

970X90.png

· 更多精彩内容,请下载阅读全本《Elastic Stack实战手册》

· 加入创作人行列,一起交流碰撞,参与技术圈年度盛事吧

创作人:李增胜

Nested 是 Object 的专用版本,允许对象数组可以以彼此独立查询的方式进行索引。

Elasticsearch 中其实是没有内部对象的概念,因此它将对象层次结构,简化为字段名称和值,以列表的形式展现。

首先来比较 Nested 与 Join 以及 Object 的区别

对比结果 Nested Object Join Object
优点 一对多关系存在一个文档中,查询速度较高 一对多关系存在多个文档中,父子文档更新性能高,可独立更新,互不影响 存储单个对象,性能高
缺点 无法单独更新父子文档,必须更新整个文档 维护关系需要占用更多内存,读取性能不高 当对象为数组时自动扁平化处理,无法满足多场景的查询条件,扩展性差
适用场景 查询性能高要求,子文档偶尔更新 子文档更新高频场景 对象非数组类型

小结:

Nested 类型使用场景:

  1. 含有 Object 数组。
  2. 需要对 Object 中的字段(至少两个及以上)同时进行查询,并维护这种关系。

Nested 类型允许相互独立地对对象数组进行索引和查询。如果需要维护数组中每个对象的关系,请使用 nested 数据类型。

以 B2B 电商行业的实际业务场景来举例说明,2B 行业的交易具有一定封闭性,只有签署合同、经常往来交易的会员,往往有更高资格的交易权、议价权。

定义商品索引,其中 groupPrice 标识分组价对象,对象里面包含了 boxLevelPrice 分组价格、level 分组级别。当前端业务线搜索时,传入用户所在组级别,即可查询对应的价格。

为了便于区分我们先定义为 Object 类型来观察下现象:

定义分组为 Object 类型

其中 groupPrice 为数组 Object 数据结构类型

PUT goods_info_object
{
  "mappings": {
    "properties": {
      "goodsName": {
        "type": "text",
        "analyzer": "ik_smart"
      },
      "skuCode": {
        "type": "keyword"
      },
      "brandName": {
        "type": "keyword"
      },
      "shopCode": {
        "type": "keyword"
      },
      "publicPrice": {
        "type": "float"
      },
      "groupPrice": {
        "properties": {
          "boxLevelPrice": {
            "type": "keyword"
          },
          "level": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

#插入测试数据,为了便于阅读 JSON 格式进行了展开
POST goods_info_object/_bulk
{
  "index": {
    "_id": 1
  }
}
{
  "goodsName": "美国苹果",
  "skuCode": "skuCode1",
  "brandName": "美国苹果",
  "shopCode": "sc00001",
  "publicPrice": "8388.88",
  "groupPrice": [
    {
      "boxLevelPrice": "4888.00",
      "level": "A"
    },
    {
      "boxLevelPrice": "6888.00",
      "level": "B"
    }
  ]
}
{
  "index": {
    "_id": 2
  }
}
{
  "goodsName": "山东苹果",
  "skuCode": "skuCode2",
  "brandName": "山东苹果",
  "shopCode": "sc00001",
  "publicPrice": "7388.88",
  "groupPrice": [
    {
      "boxLevelPrice": "5888.00",
      "level": "A"
    },
    {
      "boxLevelPrice": "4888.00",
      "level": "B"
    }
  ]
}

#检索A组且价格等于4888.00的商品
POST goods_info_object/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "groupPrice.level": "A"
          }
        },
        {
          "match": {
            "groupPrice.boxLevelPrice": "4888.00"
          }
        }
      ]
    }
  }
}

#返回:
{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 0.45840856,
    "hits" : [
      {
        "_index" : "goods_info_object",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.45840856,
        "_source" : {
          "goodsName" : "美国苹果",
          "skuCode" : "skuCode1",
          "brandName" : "美国苹果",
          "shopCode" : "sc00001",
          "publicPrice" : "8388.88",
          "groupPrice" : [
            {
              "boxLevelPrice" : "4888.00",
              "level" : "A"
            },
            {
              "boxLevelPrice" : "6888.00",
              "level" : "B"
            }
          ]
        }
      },
      {
        "_index" : "goods_info_object",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 0.45840856,
        "_source" : {
          "goodsName" : "山东苹果",
          "skuCode" : "skuCode2",
          "brandName" : "山东苹果",
          "shopCode" : "sc00001",
          "publicPrice" : "7388.88",
          "groupPrice" : [
            {
              "boxLevelPrice" : "5888.00",
              "level" : "A"
            },
            {
              "boxLevelPrice" : "4888.00",
              "level" : "B"
            }
          ]
        }
      }
    ]
  }
}

我们查询的数据,要满足分组等级是 A 级且价格为 4888.00 的数据信息。

如下图所示,只有文档 1 是满足的,但是却查询到了 2 条,其中包括不符合条件的文档 2:

3.4.2.7 Nested.png

这是因为 Elasticsearch 中将 Object 数组打平了做存储导致,在 Elasticsearch 中,会将数据做如下存储:

{
     "goodsName" : "山东苹果",
     "skuCode" : "skuCode2",
     "brandName" : "山东苹果",
     "shopCode" : "sc00001",
     "publicPrice" : "7388.88",
     "groupPrice.boxLevelPrice" :["5888.00","4888.00"],
     "groupPrice.level" :["A","B"]
}

查询恰好 boxLevelPrice 为"4888.00" 并且 level 为"A"的文档 2 是能被检索到的,当需要对数组中两个字段进行查询时,就需要用 Nested 数据结构类型来解决此问题。

定义分组为 Nested 数据结构类型

PUT goods_info_nested
{
  "mappings": {
    "properties": {
      "goodsName": {
        "type": "text",
        "analyzer": "ik_smart"
      },
      "skuCode": {
        "type": "keyword"
      },
      "brandName": {
        "type": "keyword"
      },
      "shopCode": {
        "type": "keyword"
      },
      "publicPrice": {
        "type": "float"
      },
      "groupPrice": {
        "type": "nested",
        "properties": {
          "boxLevelPrice": {
            "type": "float"
          },
          "level": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

#插入同样的测试数据
POST goods_info_nested/_bulk
{"index":{"_id":1}}
{"goodsName":"美国苹果","skuCode":"skuCode1","brandName":"美国苹果","shopCode":"sc00001","publicPrice":"8388.88","groupPrice":[{"boxLevelPrice":"4888.00","level":"A"},{"boxLevelPrice":"6888.00","level":"B"}]}
{"index":{"_id":2}}
{"goodsName":"山东苹果","skuCode":"skuCode2","brandName":"山东苹果","shopCode":"sc00001","publicPrice":"7388.88","groupPrice":[{"boxLevelPrice":"5888.00","level":"A"},{"boxLevelPrice":"4888.00","level":"B"}]}
#查询
POST goods_info_nested/_search
{
  "query": {
    "nested": {
      "path": "groupPrice",
      "query": {
        "bool": {
          "must": [
            {
              "match": {
                "groupPrice.level": "A"
              }
            },
            {
              "match": {
                "groupPrice.boxLevelPrice": "4888.00"
              }
            }
          ]
        }
      }
    }
  }
}
#返回:
"hits" : [
      {
        "_index" : "goods_info_nested",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.3862942,
        "_source" : {
          "goodsName" : "美国苹果",
          "skuCode" : "skuCode1",
          "brandName" : "美国苹果",
          "shopCode" : "sc00001",
          "publicPrice" : "8388.88",
          "groupPrice" : [
            {
              "boxLevelPrice" : "4888.00",
              "level" : "A"
            },
            {
              "boxLevelPrice" : "6888.00",
              "level" : "B"
            }
          ]
        }
      }
    ]

同样查询 groupPrice.boxLevelPrice 为"4888.00" 且 level 为"A"的数据,显然只有文档 1 满足,通过查询也验证了此结论,说明 Nested 查询生效,解决了嵌套查询的问题。

Nested 在 Aggregation 中的应用

在对 Nested Object 进行聚合操作时,我们需要使用到 Nested Aggregation,我们需要聚合查询最大的分组价格( groupPrice )。

POST /goods_info_nested/_search
{
  "query": {
    "match": {
      "goodsName": "苹果"
    }
  },
  "aggs": {
    "groupPrice": {
      "nested": {
        "path": "groupPrice"
      },
      "aggs": {
        "max_price": {
          "max": {
            "field": "groupPrice.boxLevelPrice"
          }
        }
      }
    }
  }
}

#返回
{
    .....
    "aggregations" : {
        "groupPrice" : {
          "doc_count" : 4,
          "max_price" : {
            "value" : 6888.0
          }
        }
     }
}
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
存储 前端开发 索引
带你读《Elastic Stack 实战手册》之22:——3.4.2.7.Nested数据类型(上)
带你读《Elastic Stack 实战手册》之22:——3.4.2.7.Nested数据类型(上)
122 0
|
项目管理 微服务
带你读《Elastic Stack 实战手册》之22:——3.4.2.7.Nested数据类型(下)
带你读《Elastic Stack 实战手册》之22:——3.4.2.7.Nested数据类型(下)
|
存储 项目管理 微服务
带你读《Elastic Stack 实战手册》之21:——3.4.2.6.Join数据类型
带你读《Elastic Stack 实战手册》之21:——3.4.2.6.Join数据类型
|
项目管理 微服务
带你读《Elastic Stack 实战手册》之20:——3.4.2.5.Object数据类型(下)
带你读《Elastic Stack 实战手册》之20:——3.4.2.5.Object数据类型(下)
|
存储 索引
带你读《Elastic Stack 实战手册》之20:——3.4.2.5.Object数据类型(上)
带你读《Elastic Stack 实战手册》之20:——3.4.2.5.Object数据类型(上)
|
搜索推荐 API 索引
带你读《Elastic Stack 实战手册》之17:—— 3.4.2.2.理解mapping(下)
带你读《Elastic Stack 实战手册》之17:—— 3.4.2.2.理解mapping(下)
103 0
|
存储 JSON 数据库
带你读《Elastic Stack 实战手册》之17:—— 3.4.2.2.理解mapping(上)
带你读《Elastic Stack 实战手册》之17:—— 3.4.2.2.理解mapping(上)
|
数据格式 索引
带你读《Elastic Stack 实战手册》之17:—— 3.4.2.2.理解mapping(中)
带你读《Elastic Stack 实战手册》之17:—— 3.4.2.2.理解mapping(中)
|
监控 数据可视化 安全
带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(5)
带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(5)
140 0
|
存储 Kubernetes 数据可视化
带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(4)
带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(4)
135 0