Nested 数据类型—Elastic Stack 实战手册

简介: Nested 是 Object 的专用版本,允许对象数组以可以彼此独立查询的方式进行索引。

970X90.png

· 更多精彩内容,请下载阅读全本《Elastic Stack实战手册》

· 加入创作人行列,一起交流碰撞,参与技术圈年度盛事吧

创作人:李增胜

Nested 是 Object 的专用版本,允许对象数组可以以彼此独立查询的方式进行索引。

Elasticsearch 中其实是没有内部对象的概念,因此它将对象层次结构,简化为字段名称和值,以列表的形式展现。

首先来比较 Nested 与 Join 以及 Object 的区别

对比结果 Nested Object Join Object
优点 一对多关系存在一个文档中,查询速度较高 一对多关系存在多个文档中,父子文档更新性能高,可独立更新,互不影响 存储单个对象,性能高
缺点 无法单独更新父子文档,必须更新整个文档 维护关系需要占用更多内存,读取性能不高 当对象为数组时自动扁平化处理,无法满足多场景的查询条件,扩展性差
适用场景 查询性能高要求,子文档偶尔更新 子文档更新高频场景 对象非数组类型

小结:

Nested 类型使用场景:

  1. 含有 Object 数组。
  2. 需要对 Object 中的字段(至少两个及以上)同时进行查询,并维护这种关系。

Nested 类型允许相互独立地对对象数组进行索引和查询。如果需要维护数组中每个对象的关系,请使用 nested 数据类型。

以 B2B 电商行业的实际业务场景来举例说明,2B 行业的交易具有一定封闭性,只有签署合同、经常往来交易的会员,往往有更高资格的交易权、议价权。

定义商品索引,其中 groupPrice 标识分组价对象,对象里面包含了 boxLevelPrice 分组价格、level 分组级别。当前端业务线搜索时,传入用户所在组级别,即可查询对应的价格。

为了便于区分我们先定义为 Object 类型来观察下现象:

定义分组为 Object 类型

其中 groupPrice 为数组 Object 数据结构类型

PUT goods_info_object
{
  "mappings": {
    "properties": {
      "goodsName": {
        "type": "text",
        "analyzer": "ik_smart"
      },
      "skuCode": {
        "type": "keyword"
      },
      "brandName": {
        "type": "keyword"
      },
      "shopCode": {
        "type": "keyword"
      },
      "publicPrice": {
        "type": "float"
      },
      "groupPrice": {
        "properties": {
          "boxLevelPrice": {
            "type": "keyword"
          },
          "level": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

#插入测试数据,为了便于阅读 JSON 格式进行了展开
POST goods_info_object/_bulk
{
  "index": {
    "_id": 1
  }
}
{
  "goodsName": "美国苹果",
  "skuCode": "skuCode1",
  "brandName": "美国苹果",
  "shopCode": "sc00001",
  "publicPrice": "8388.88",
  "groupPrice": [
    {
      "boxLevelPrice": "4888.00",
      "level": "A"
    },
    {
      "boxLevelPrice": "6888.00",
      "level": "B"
    }
  ]
}
{
  "index": {
    "_id": 2
  }
}
{
  "goodsName": "山东苹果",
  "skuCode": "skuCode2",
  "brandName": "山东苹果",
  "shopCode": "sc00001",
  "publicPrice": "7388.88",
  "groupPrice": [
    {
      "boxLevelPrice": "5888.00",
      "level": "A"
    },
    {
      "boxLevelPrice": "4888.00",
      "level": "B"
    }
  ]
}

#检索A组且价格等于4888.00的商品
POST goods_info_object/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "groupPrice.level": "A"
          }
        },
        {
          "match": {
            "groupPrice.boxLevelPrice": "4888.00"
          }
        }
      ]
    }
  }
}

#返回:
{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 0.45840856,
    "hits" : [
      {
        "_index" : "goods_info_object",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.45840856,
        "_source" : {
          "goodsName" : "美国苹果",
          "skuCode" : "skuCode1",
          "brandName" : "美国苹果",
          "shopCode" : "sc00001",
          "publicPrice" : "8388.88",
          "groupPrice" : [
            {
              "boxLevelPrice" : "4888.00",
              "level" : "A"
            },
            {
              "boxLevelPrice" : "6888.00",
              "level" : "B"
            }
          ]
        }
      },
      {
        "_index" : "goods_info_object",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 0.45840856,
        "_source" : {
          "goodsName" : "山东苹果",
          "skuCode" : "skuCode2",
          "brandName" : "山东苹果",
          "shopCode" : "sc00001",
          "publicPrice" : "7388.88",
          "groupPrice" : [
            {
              "boxLevelPrice" : "5888.00",
              "level" : "A"
            },
            {
              "boxLevelPrice" : "4888.00",
              "level" : "B"
            }
          ]
        }
      }
    ]
  }
}

我们查询的数据,要满足分组等级是 A 级且价格为 4888.00 的数据信息。

如下图所示,只有文档 1 是满足的,但是却查询到了 2 条,其中包括不符合条件的文档 2:

3.4.2.7 Nested.png

这是因为 Elasticsearch 中将 Object 数组打平了做存储导致,在 Elasticsearch 中,会将数据做如下存储:

{
     "goodsName" : "山东苹果",
     "skuCode" : "skuCode2",
     "brandName" : "山东苹果",
     "shopCode" : "sc00001",
     "publicPrice" : "7388.88",
     "groupPrice.boxLevelPrice" :["5888.00","4888.00"],
     "groupPrice.level" :["A","B"]
}

查询恰好 boxLevelPrice 为"4888.00" 并且 level 为"A"的文档 2 是能被检索到的,当需要对数组中两个字段进行查询时,就需要用 Nested 数据结构类型来解决此问题。

定义分组为 Nested 数据结构类型

PUT goods_info_nested
{
  "mappings": {
    "properties": {
      "goodsName": {
        "type": "text",
        "analyzer": "ik_smart"
      },
      "skuCode": {
        "type": "keyword"
      },
      "brandName": {
        "type": "keyword"
      },
      "shopCode": {
        "type": "keyword"
      },
      "publicPrice": {
        "type": "float"
      },
      "groupPrice": {
        "type": "nested",
        "properties": {
          "boxLevelPrice": {
            "type": "float"
          },
          "level": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

#插入同样的测试数据
POST goods_info_nested/_bulk
{"index":{"_id":1}}
{"goodsName":"美国苹果","skuCode":"skuCode1","brandName":"美国苹果","shopCode":"sc00001","publicPrice":"8388.88","groupPrice":[{"boxLevelPrice":"4888.00","level":"A"},{"boxLevelPrice":"6888.00","level":"B"}]}
{"index":{"_id":2}}
{"goodsName":"山东苹果","skuCode":"skuCode2","brandName":"山东苹果","shopCode":"sc00001","publicPrice":"7388.88","groupPrice":[{"boxLevelPrice":"5888.00","level":"A"},{"boxLevelPrice":"4888.00","level":"B"}]}
#查询
POST goods_info_nested/_search
{
  "query": {
    "nested": {
      "path": "groupPrice",
      "query": {
        "bool": {
          "must": [
            {
              "match": {
                "groupPrice.level": "A"
              }
            },
            {
              "match": {
                "groupPrice.boxLevelPrice": "4888.00"
              }
            }
          ]
        }
      }
    }
  }
}
#返回:
"hits" : [
      {
        "_index" : "goods_info_nested",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.3862942,
        "_source" : {
          "goodsName" : "美国苹果",
          "skuCode" : "skuCode1",
          "brandName" : "美国苹果",
          "shopCode" : "sc00001",
          "publicPrice" : "8388.88",
          "groupPrice" : [
            {
              "boxLevelPrice" : "4888.00",
              "level" : "A"
            },
            {
              "boxLevelPrice" : "6888.00",
              "level" : "B"
            }
          ]
        }
      }
    ]

同样查询 groupPrice.boxLevelPrice 为"4888.00" 且 level 为"A"的数据,显然只有文档 1 满足,通过查询也验证了此结论,说明 Nested 查询生效,解决了嵌套查询的问题。

Nested 在 Aggregation 中的应用

在对 Nested Object 进行聚合操作时,我们需要使用到 Nested Aggregation,我们需要聚合查询最大的分组价格( groupPrice )。

POST /goods_info_nested/_search
{
  "query": {
    "match": {
      "goodsName": "苹果"
    }
  },
  "aggs": {
    "groupPrice": {
      "nested": {
        "path": "groupPrice"
      },
      "aggs": {
        "max_price": {
          "max": {
            "field": "groupPrice.boxLevelPrice"
          }
        }
      }
    }
  }
}

#返回
{
    .....
    "aggregations" : {
        "groupPrice" : {
          "doc_count" : 4,
          "max_price" : {
            "value" : 6888.0
          }
        }
     }
}
相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
机器学习/深度学习 数据采集 自然语言处理
岭回归与LASSO回归:解析两大经典线性回归方法
岭回归与LASSO回归:解析两大经典线性回归方法
岭回归与LASSO回归:解析两大经典线性回归方法
|
机器学习/深度学习 人工智能 算法
基于DCT和扩频的音频水印嵌入提取算法matlab仿真
本文介绍了结合DCT和扩频技术的音频水印算法,用于在不降低音质的情况下嵌入版权信息。在matlab2022a中实现,算法利用DCT进行频域处理,通过扩频增强水印的隐蔽性和抗攻击性。核心程序展示了水印的嵌入与提取过程,包括DCT变换、水印扩频及反变换步骤。该方法有效且专业,未来研究将侧重于提高实用性和安全性。
|
存储 机器学习/深度学习 缓存
APM-Elastic Stack 实战手册
应用程序性能管理(Application Performance Management)简称 APM。主要功能为监视和管理软件应用程序性能和可用性。
3387 0
APM-Elastic Stack 实战手册
|
机器学习/深度学习 数据可视化 算法
Android 柱形统计图
【6月更文挑战第14天】
322 5
|
数据可视化 数据挖掘 数据库
空间单细胞|基于图像的数据分析(3)
空间单细胞|基于图像的数据分析(3)
|
SQL 人工智能 API
openai停止中国的api服务,但是性能相当的阿里云免费提供迁移
OpenAI暂停中国API服务,阿里云百炼响应迅速,提供免费tokens(2200万)与迁移服务给受影响开发者。Qwen2-72B与GPT-4同列全球第四(HELM MMLU榜)。Qwen-plus调用成本仅GPT-4的1/50。阿里云百炼以开放性著称,兼容LlamaIndex等,支持多种数据源及自定义组件,加速AI应用集成。官网有丰富资源,助力快速上手大模型开发。
666 0
|
数据库 知识图谱
知识图谱(Knowledge Graph)- Neo4j 5.10.0 Desktop & GraphXR 连接自建数据库
知识图谱(Knowledge Graph)- Neo4j 5.10.0 Desktop & GraphXR 连接自建数据库
276 0
|
存储 移动开发 程序员
80C51单片机的七种寻址方式
80C51单片机的七种寻址方式
1103 1
|
网络安全 网络架构
traceroute命令详解
traceroute命令详解
|
DataWorks NoSQL 数据库
DataWorks常见问题之如何上传资源
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
323 2

热门文章

最新文章