开发者社区> 中间件兴趣圈> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Elasticsearch Mapping类型映射概述与元字段详解

简介: Elasticsearch Mapping类型映射概述与元字段详解
+关注继续查看

本节开始将对ES类型映射机制进行详细解读。

image.png

Mapping,映射,相当于关系型数据库创建语句,定义文档字段及其类型、索引与存储方式。通常会涉及如下方面:


  • 文档中哪些字段需要定义成全文索引字段。
  • 文档中哪些字段定义为精确值,例如日期,数字、地理位置等。
  • 文档中哪些字段需要被索引(能通过该字段的值查询文档)。
  • 日期值的格式。
  • 动态添加字段的规则定义等。


映射类型


Elasticsearch支持meta-fields、fields or properties两种映射类型,将决定文档的索引方式。


  • Meta-fields
    元数据字段用于定义文档的元数据字段的特征,文档的元数据字段主要包括_index、_type、_id、_sour
    ce这4个字段。
  • Fields or properties
    属性字段列表,通过properties字段定义整个文档有效载荷的各字段的数据类型、分词器等属性。


映射类型,可以理解为以何种方式来定义索引中一个类型的字段集。


数据类型


每一个字段都会指定一个数据类型,数据类型通常如下:


  • 简单类型,例如text、keyword、d
    ate、long、double、boolean、ip。

  • 复合类型,诸如object(json)、nets
    ed.

  • 特殊类型,诸如geo_point、geo_s
    hape(地图相关类型)、completion。


后续章节会单独重点剖析elasticsearch所支持的数据类型。


映射保护机制


es提供如下参数来限制es的行为:


  • index.mapping.total_fields.limit
    索引中允许定义的最大字段(属性)个数,默认为1000。
  • index.mapping.depth.limit
    字段级联的最大深度,默认为20。
  • index.mapping.nested_fields.limit
    一个索引最多包含字段类型为nest
    ed的个数,默认为50。


动态映射机制


与关系型数据库不同的是,一个type(对应关系型数据库的表)中的字段可以在使用过程中动态添加。具体的动态映射机制,将在后续文章中单独结束。


更新已有映射定义


Elasticsearch不支持直接修改已索引的已存在的字段映射,因为修改字段映射,意味着已索引的数据生效,可以使用别名机制来修改字段的名称,如果需要修改已存在字段的映射,建议重新创建一个索引,再使用reindex API迁移数据。


索引、type组织方式


索引在创建时,Elasticsearch6.x版本只支持一个映射类型,而7.x版本后将完成删除映射类型。5.x中一个索引包含多个type的情况再6.x版本将继续支持查询。7.0版本后,API将完成移除与多类型相关的API。


Elasticsearch6.x版本后为什么不继续对单一索引库提供多类型支持呢?


当初,为了方便理解es,通常与关系型数据库进行类比,例如es中的index相当于关系型数据库的database,而类型相当于关系型数据库中的table。其实这是一个错误的比喻。在关系型数据库中,表是相互独立的,一个表中的列名与另外一个表中的列名相同是没有关系的,但对于es的类型映射定义,情况并非如此。


在es单一索引中,不同映射类型(type)具有相同名称的字段在内部都是由同一个Lucence字段来存储,这也就意味着同一个索引内不同的类型,如果出现名字相同的字段,其数据类型也必须相同。更重要的是,存储在同一索引中具有很少或没有共同字段的不同类型(实体)会导致数据稀疏,大大降低Lucece高效压缩文档的能力,影响其检索性能。


基于上述各种原因,故es将在后续版本中不支持一个索引中定义多个类型。

image.png

每个文档都有与之关联的元数据,例如_index、mapping _type和_id元字段。

在创建映射类型时,可以定制其中一些元字段的行为。


identity meta-fields


表明文档身份的元字段。


  • _index
    文档所在的索引,类似于关系型数据库的database。
  • _uid
    _type与_id的组合,文档的唯一标识。
  • _type
    文档映射类型。
  • _id
    文档的_id值。


document source meta-fields


  • _source
    文档的原始json数据。
  • _size
    文档_souce字段的字节长度,需要插件:mapper-size plugin。


indexing meta-fields


  • _all
    将所有字段映射成一个_all字段,在6.0.0版本后废弃,可以使用copy_to来定义需要聚合的字段。
  • _field_names
    _field_names字段,用于索引文档中包含除null之外的任何值的每个字段的名称。exist查询使用这个字段来查找对于特定字段具有或不具有任何非空值的文档,也就是该字段记录的是字段值不为null的所有字段名称。当前版本,_field_names字段不包含启用了doc_values、norm的字段,对于启用doc_values或norm的字段,exist查询仍然可用,但不会使用_field_names字段。

    注:禁用_field_names通常是不必要的,因为它不再承载以前的索引开销。如果你有很多禁用doc_value和norm的字段,并且你不需要使用这些字段执行exist查询,你可能想禁用_field_names,你可以通过如下方式禁用_field_names字段:
1PUT tweets
 2{
 3  "mappings": {
 4    "_doc": {
 5      "_field_names": {
 6        "enabled": false
 7      }
 8    }
 9  }
10}                                                        }
  • _ignored
    设置为ignore_malformed=true的所有字段。


routing meta-field


  • _routing
    分片路由字段。


other meta-field


  • _meta
    用于用户自定义的元数据,例如:
 1PUT my_index
 2{
 3  "mappings": {
 4    "_doc": {
 5      "_meta": { 
 6        "class": "MyApp::User",
 7        "version": {
 8          "min": "1.0",
 9          "max": "1.3"
10        }
11      }
12    }
13  }
14}                                                        }


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Elasticsearch7.X Mapping 常见字段类型整理
一、核心数据类型 字符串:text, keyword 数值型:long, integer, short, byte, double, float, half_float, scaled_float 布尔型:boolean 日期型:date, date_nanos 二进制:binary
40 0
史上最全的ElasticSearch系列之入门
前言 文本已收录至我的GitHub仓库,欢迎Star:github.com/bin39232820… 种一棵树最好的时间是十年前,其次是现在
63 0
史上最全的ElasticSearch系列之基础(二)(上)
前言 文本已收录至我的GitHub仓库,欢迎Star:github.com/bin39232820… 种一棵树最好的时间是十年前,其次是现在
26 0
ElasticSearch03_Mapping字段映射、常用类型、数据迁移、ik分词器、自定义分词器(二)
ElasticSearch03_Mapping字段映射、常用类型、数据迁移、ik分词器、自定义分词器(二)
33 0
Elasticsearch实战(六)-mapping映射(上)
Elasticsearch实战(六)-mapping映射
33 0
Elasticsearch实战(六)-mapping映射(中)
Elasticsearch实战(六)-mapping映射
53 0
Elasticsearch 通关教程(二): 索引映射Mapping问题
数据库建表的时候,我们的DDL语句一般都会指定每个字段的存储类型,例如:varchar,int,datetime等等,目的很明确,就是更精确的存储数据,防止数据类型格式混乱。 CREATE TABLE `shop_` ( `id_` varchar(36) NOT NULL COMMENT '...
2518 0
[ElasticSearch2.x]映射(Mapping)
1. 概述 为了能够把日期字段处理成日期,把数字字段处理成数字,把字符串字段处理成全文本(Full-text)或精确(Exact-value)的字符串值,Elasticsearch需要知道每个字段里面都包含什么数据类型。
812 0
+关注
中间件兴趣圈
Apache RocketMQ社区首席布道师、《RocketMQ技术内幕》作者、维护公众号「中间件兴趣圈」,主打成体系地分享互联网主流中间件技术。目前已输出RocketMQ、Kafka、Dubbo、Sentienl等15个技术专栏共300+原创博文,3本原创电子书。
183
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载