白话Elasticsearch51-深入聚合数据分析之text field聚合以及fielddata原理

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 白话Elasticsearch51-深入聚合数据分析之text field聚合以及fielddata原理

20190806092132811.jpg


概述

继续跟中华石杉老师学习ES,第51篇

课程地址https://www.roncoo.com/view/55


官网

fielddata: 戳这里


20190829222109162.png20190829222132522.png

20190829222154713.png

2019082922221457.png


示例

对于分词的field执行aggregation,报错

先构造下模拟索引及数据

PUT /artisan_index 
{
  "mappings": {
    "artisan_type": {
      "properties": {
        "artisan_filed": {
          "type": "text"
        }
      }
    }
  }
}
PUT /artisan_index/artisan_type/1
{
  "artisan_filed": "artisan_1"
}
PUT /artisan_index/artisan_type/2
{
  "artisan_filed": "artisan_2"
}
GET  /artisan_index/_mapping/artisan_type


20190829233555153.png

我们建立的 artisan_filed是text类型,默认是分词的,那么我们对该字段进行 aggs看下

GET  /artisan_index/artisan_type/_search
{
  "size": 0,
  "aggs": {
    "group_by_artisan_field": {
      "terms": {
        "field": "artisan_filed"
      }
    }
  }
}


报错如下:

 {
        "type": "illegal_argument_exception",
        "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [artisan_filed] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
      }


2019082923380165.png


对分词的field,直接执行聚合操作,会报错,大概意思是说,你必须要打开fielddata,然后将正排索引数据加载到内存中,才可以对分词的field执行聚合操作,而且会消耗很大的内存 .

当然了,排序这种操作也是不行的。


20190829234459986.png


给分词的field,设置fielddata=true,可执行

#删除索引
DELETE artisan_index
#创建索引,设置text类型的字段的fielddata为true
PUT /artisan_index 
{
  "mappings": {
    "artisan_type": {
      "properties": {
        "artisan_filed": {
          "type": "text",
          "fielddata": true
        }
      }
    }
  }
}
#模拟数据
PUT /artisan_index/artisan_type/1
{
  "artisan_filed": "artisan_1"
}
PUT /artisan_index/artisan_type/2
{
  "artisan_filed": "artisan_2"
}
#查看映射
GET  /artisan_index/_mapping/artisan_type
---------------

20190829234152680.png

# 聚合操作
GET  /artisan_index/artisan_type/_search
{
  "size": 0,
  "aggs": {
    "group_by_artisan_field": {
      "terms": {
        "field": "artisan_filed"
      }
    }
  }
}

20190829234201980.png

如果要对分词的field执行聚合操作,必须将fielddata设置为true


使用field.keyword,对分词的field进行聚合,可执行

#直接写入数据,让ES自动创建索引
PUT /artisan_index/artisan_type/1
{
  "artisan_filed": "artisan_1"
}
PUT /artisan_index/artisan_type/2
{
  "artisan_filed": "artisan_2"
}
#查看映射
GET  /artisan_index/_mapping/artisan_type

image.png

# artisan_filed.keyword  es内置的keyword也可以在没设置fielddata=true的情况下聚合
GET  /artisan_index/artisan_type/_search
{
  "size": 0,
  "aggs": {
    "group_by_artisan_field": {
      "terms": {
        "field": "artisan_filed.keyword"
      }
    }
  }
}


artisan_filed.keyword es内置的keyword也可以在没设置fielddata=true的情况下。


当然了,如果对不分词的field执行聚合操作,直接就可以执行,不需要设置fieldata=true


分词field+fielddata的工作原理


doc value --> 不分词的所有field,可以执行聚合操作 --> 如果你的某个field不分词,那么在index-time,就会自动生成doc value --> 针对这些不分词的field执行聚合操作的时候,自动就会用doc value来执行。


分词field,是没有doc value的。。。在index-time,如果某个field是分词的,那么是不会给它建立doc value正排索引的,因为分词后,占用的空间过于大,所以默认是不支持分词field进行聚合的


分词field默认没有doc value,所以直接对分词field执行聚合操作,是会报错的


对于分词field,必须打开和使用fielddata,完全存在于纯内存中。。。结构和doc value类似。。。如果是ngram或者是大量term,那么必将占用大量的内存。。。


如果一定要对分词的field执行聚合,那么必须将fielddata=true,然后es就会在执行聚合操作的时候,现场将field对应的数据,建立一份fielddata正排索引,fielddata正排索引的结构跟doc value是类似的,但是只会将fielddata正排索引加载到内存中来,然后基于内存中的fielddata正排索引执行分词field的聚合操作


如果直接对分词field执行聚合,报错,提示让我们开启fielddata=true,告诉我们,会将fielddata uninverted index(正排索引),加载到内存,会耗费内存空间


为什么fielddata必须在内存?分词的字符串,需要按照term进行聚合,需要执行更加复杂的算法和操作,如果基于磁盘和os cache,那么性能会很差

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
7月前
|
数据采集 JSON 数据挖掘
Elasticsearch 的DSL查询,聚合查询与多维度数据统计
Elasticsearch的DSL查询与聚合查询提供了强大的数据检索和统计分析能力。通过合理构建DSL查询,用户可以高效地搜索数据,并使用聚合查询对数据进行多维度统计分析。在实际应用中,灵活运用这些工具不仅能提高查询效率,还能为数据分析提供深入洞察。理解并掌握这些技术,将显著提升在大数据场景中的分析和处理能力。
316 20
|
11月前
|
存储 SQL 监控
|
存储 自然语言处理 关系型数据库
ElasticSearch基础3——聚合、补全、集群。黑马旅游检索高亮+自定义分词器+自动补全+前后端消息同步
聚合、补全、RabbitMQ消息同步、集群、脑裂问题、集群分布式存储、黑马旅游实现过滤和搜索补全功能
ElasticSearch基础3——聚合、补全、集群。黑马旅游检索高亮+自定义分词器+自动补全+前后端消息同步
|
自然语言处理 Java 关系型数据库
ElasticSearch 实现分词全文检索 - 聚合查询 cardinality
ElasticSearch 实现分词全文检索 - 聚合查询 cardinality
387 1
|
存储 数据采集 数据处理
数据处理神器Elasticsearch_Pipeline:原理、配置与实战指南
数据处理神器Elasticsearch_Pipeline:原理、配置与实战指南
561 12
|
存储 数据可视化 数据挖掘
使用Elasticsearch进行实时数据分析与预测
【8月更文第28天】Elasticsearch 是一个分布式的、RESTful 风格的搜索和分析引擎,它能够实时地存储、检索以及分析大规模的数据集。结合 Logstash 和 Kibana,它们共同构成了 Elastic Stack,这是一套强大的工具组合,适用于收集、存储、分析和可视化数据。
538 0
|
存储 缓存 自然语言处理
elasticsearch 聚合 : 指标聚合、桶聚合、管道聚合解析使用总结
elasticsearch 聚合 : 指标聚合、桶聚合、管道聚合解析使用总结
|
数据采集 API 定位技术
elasticsearch pipelineI详解:原理与使用
elasticsearch pipelineI详解:原理与使用
|
缓存 自然语言处理 监控
elasticsearch过滤器filter:原理及使用
elasticsearch过滤器filter:原理及使用