Elasticsearch模块功能之-索引分片分配(Index shard allocation)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介:

Elasticsearch模块功能之-索引分片分配(Index shard allocation)

1、分片分配

包含或者排除filters可以来控制基于节点的索引分配。filters可以在索引级别和集群级别进行设置。如下使用集群级别举例:

设定有4个节点,每个的节点指定一个属性tag(可以随意修改),并赋予特定值,比如节点1设置为node.tag:value1,节点二设置为node.tag:value2等等。创建索引时将index.routing.allocation.include.tag属性设置为value1和value2后,我们将会创建一个只部署在节点1和节点2的索引。命令如下:

[html] view plain copy

  1. curl -XPUT localhost:9200/test/_settings -d '{
  2.     "index.routing.allocation.include.tag" : "value1,value2"
  3. }'

如果不想将索引添加到上述两个节点上,可以使用index.routing.allocation.exclude.tag属性。如下:

[html] view plain copy

  1. curl -XPUT localhost:9200/test/_settings -d '{
  2.     "index.routing.allocation.exclude.tag" : "value1,value2"
  3. }'

index.routing.allocation.require.*用于指定几个规则,满足这些规则则会被分配到该节点上。

include,exclude和require的值也支持简单的通配符,比如value1*,另外,_ip,_name,_id和_host这些属于特定的属性名称,他们分别匹配节点的IP地址,名称,ID和主机名。以上的索引配置可以使用API进行实时的更新。

2、节点分片总数

index.routing.allocation.total_shards_per_node设置可以控制es节点上每个索引最大能分配的分片个数。该配置可以使用API进行动态更新。

 

3、基于磁盘的分片分配

该配置在es1.3.0后才有效)

Elasticsearch可以根据节点磁盘的使用情况来配置分片分配。该配置默认开启你,可以下面命令进行禁用:

[html] view plain copy

  1. curl -XPUT localhost:9200/_cluster/settings -d '{
  2.     "transient" : {
  3.         "cluster.routing.allocation.disk.threshold_enabled" : false
  4.     }
  5. }'

Elasticsearch使用两个配置参数决定分片是否能存放到某个节点上。

cluster.routing.allocation.disk.watermark.low:控制磁盘使用的低水位。默认为85%,意味着如果节点磁盘使用超过85%,则ES不允许在分配新的分片。当配置具体的大小如100MB时,表示如果磁盘空间小于100MB不允许分配分片。

cluster.routing.allocation.disk.watermark.high:控制磁盘使用的高水位。默认为90%,意味着如果磁盘空间使用高于90%时,ES将尝试分配分片到其他节点。

上述两个配置可以使用API动态更新,ES每隔30s获取一次磁盘的使用信息,该值可以通过cluster.info.update.interval来设置。

原文地址http://www.bieryun.com/1903.html

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
5天前
|
存储 监控 API
Elasticsearch 8.X Rollup 功能详解及避坑指南
Elasticsearch 8.X Rollup 功能详解及避坑指南
21 0
|
5天前
|
运维 安全 API
Elasticsearch 悬挂索引解析与管理指南
Elasticsearch 悬挂索引解析与管理指南
24 7
|
5天前
|
安全 API 数据安全/隐私保护
Elasticsearch 通过索引阻塞实现数据保护深入解析
Elasticsearch 通过索引阻塞实现数据保护深入解析
22 4
|
5天前
|
存储 数据处理 索引
Elasticsearch 8.X 小技巧:使用存储脚本优化数据索引与转换过程
Elasticsearch 8.X 小技巧:使用存储脚本优化数据索引与转换过程
34 6
|
5天前
|
存储 数据库 索引
Elasticsearch ILM 索引生命周期管理常见坑及避坑指南
Elasticsearch ILM 索引生命周期管理常见坑及避坑指南
12 0
|
5天前
|
安全 API 数据安全/隐私保护
Elasticsearch 通过索引阻塞实现数据保护深入解析
Elasticsearch 通过索引阻塞实现数据保护深入解析
19 0
|
5天前
|
Java Maven 开发工具
【ElasticSearch 】IK 分词器安装
【ElasticSearch 】IK 分词器安装
24 1
|
5天前
|
数据可视化 索引
elasticsearch head、kibana 安装和使用
elasticsearch head、kibana 安装和使用
|
5天前
|
Java Windows
windows下 安装 Elasticsearch报错warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME
windows下 安装 Elasticsearch报错warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME
47 0
|
5天前
|
搜索推荐 Java 大数据
ElasticSearch安装
ElasticSearch安装

热门文章

最新文章