Elasticsearch索引数据的路由规则与自定义路由分发

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Elasticsearch索引数据的路由规则与自定义路由分发

Elasticsearch通过路由规则将数据高效地分布到各个分片中,实现数据均衡、查询优化及故障恢复。本文将深入探讨索引数据路由的原理,并通过示例展示如何使用自定义路由策略分发数据。

索引数据路由原理

默认路由规则

默认情况下,Elasticsearch使用以下公式计算文档应被写入的分片编号:

shard_num = hash(_routing) % num_primary_shards

其中:

  • _routing:默认为文档的_id,也可以通过请求参数或映射设置指定。
  • num_primary_shards:索引的主分片数。

通过哈希函数和模运算,确保数据在分片间均匀分布,有利于数据均衡、容错和扩展。

分区路由

虽然可以手动指定路由值以减少查询涉及的分片数,但这可能导致大量数据集中到少数分片,造成分片大小不均。为此,Elasticsearch提供索引分区配置,允许使用同一路由值的数据分发到多个分片。在索引设置中启用此功能:

"index.routing_partition_size": N

此时,路由计算公式变为:

shard_num = (hash(_routing) + hash(_id) % routing_partition_size) % num_primary_shards

通过引入_id哈希值和routing_partition_size参数,使得具有相同路由值的文档更均匀地分布到多个分片。

使用自定义路由分发数据

在某些场景下,可能需要根据特定字段(如用户ID、租户ID等)进行数据路由,以实现数据隔离、优化查询性能或简化备份恢复。下面展示如何使用自定义路由策略分发数据。

创建索引并设置自定义路由

首先,创建一个名为person的索引,设置3个主分片和1个副本分片,并要求在写入文档时必须提供路由值:

PUT person
{
  "settings": {
    "number_of_shards": "3",
    "number_of_replicas": "1"
  },
  "mappings": {
    "_routing": {
      "required": true
    }
  }
}

新增数据

向索引中写入一条带有自定义路由值(如“zhangsan”)的文档,并立即刷新索引以确保数据可查:

POST person/_doc/1?routing=zhangsan&refresh=true
{
  "id": "1",
  "name": "zhangsan",
  "subject": "语文",
  "score": 100
}


查询数据

由于数据写入时使用了自定义路由值,查询时也必须提供相同的路由值,否则会导致查询失败:

GET person/_doc/1?routing=zhangsan

更新数据

更新文档时同样需要指定路由值,以确保操作作用于正确的分片:

POST person/_update/1?routing=zhangsan&refresh=true
{
  "doc": {
    "score": 120
  }
}

路由优化查询

在检索数据时,提供路由值可以跳过无关分片,减少资源消耗并加速查询:

GET person/_search?routing=zhangsan
{
  "query": {
    "match_all": {}
  }
}

查看路由对应分片

若需确定某个路由值对应的分片信息,可以使用_search_shards REST端点:

GET person/_search_shards?routing=zhangsan

删除数据

删除文档时同样需要指定路由值:

DELETE person/_doc/1?routing=zhangsan

总结而言,Elasticsearch通过路由规则有效地管理和分发索引数据,支持自定义路由策略以满足特定应用场景的需求。理解和熟练运用数据路由机制,有助于优化Elasticsearch集群的性能和稳定性。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2月前
|
自然语言处理 大数据 应用服务中间件
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
74 5
|
2月前
|
存储 分布式计算 大数据
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
70 3
|
1月前
|
存储 缓存 监控
优化Elasticsearch 索引设计
优化Elasticsearch 索引设计
24 5
|
1月前
|
存储 JSON 关系型数据库
Elasticsearch 索引
【11月更文挑战第3天】
42 4
|
1月前
|
测试技术 API 开发工具
ElasticSearch7.6.x 模板及滚动索引创建及注意事项
ElasticSearch7.6.x 模板及滚动索引创建及注意事项
49 8
|
2月前
|
Web App开发 JavaScript Java
elasticsearch学习五:springboot整合 rest 操作elasticsearch的 实际案例操作,编写搜索的前后端,爬取京东数据到elasticsearch中。
这篇文章是关于如何使用Spring Boot整合Elasticsearch,并通过REST客户端操作Elasticsearch,实现一个简单的搜索前后端,以及如何爬取京东数据到Elasticsearch的案例教程。
227 0
elasticsearch学习五:springboot整合 rest 操作elasticsearch的 实际案例操作,编写搜索的前后端,爬取京东数据到elasticsearch中。
|
2月前
|
消息中间件 监控 关系型数据库
MySQL数据实时同步到Elasticsearch:技术深度解析与实践分享
在当今的数据驱动时代,实时数据同步成为许多应用系统的核心需求之一。MySQL作为关系型数据库的代表,以其强大的事务处理能力和数据完整性保障,广泛应用于各种业务场景中。然而,随着数据量的增长和查询复杂度的提升,单一依赖MySQL进行高效的数据检索和分析变得日益困难。这时,Elasticsearch(简称ES)以其卓越的搜索性能、灵活的数据模式以及强大的可扩展性,成为处理复杂查询需求的理想选择。本文将深入探讨MySQL数据实时同步到Elasticsearch的技术实现与最佳实践。
181 0
|
3月前
|
存储 自然语言处理 关系型数据库
ElasticSearch基础3——聚合、补全、集群。黑马旅游检索高亮+自定义分词器+自动补全+前后端消息同步
聚合、补全、RabbitMQ消息同步、集群、脑裂问题、集群分布式存储、黑马旅游实现过滤和搜索补全功能
|
3月前
|
JSON 自然语言处理 数据库
ElasticSearch基础1——索引和文档。Kibana,RestClient操作索引和文档+黑马旅游ES库导入
概念、ik分词器、倒排索引、索引和文档的增删改查、RestClient对索引和文档的增删改查
ElasticSearch基础1——索引和文档。Kibana,RestClient操作索引和文档+黑马旅游ES库导入
|
3月前
|
存储 搜索推荐 数据建模
Elasticsearch 的数据建模与索引设计
【9月更文第3天】Elasticsearch 是一个基于 Lucene 的搜索引擎,广泛应用于全文检索、数据分析等领域。为了确保 Elasticsearch 的高效运行,合理的数据建模和索引设计至关重要。本文将探讨如何为不同的应用场景设计高效的索引结构,并分享一些数据建模的最佳实践。
159 2