Elasticsearch模块功能之-索引分片分配(Index shard allocation)
1、分片分配
包含或者排除filters可以来控制基于节点的索引分配。filters可以在索引级别和集群级别进行设置。如下使用集群级别举例:
设定有4个节点,每个的节点指定一个属性tag(可以随意修改),并赋予特定值,比如节点1设置为node.tag:value1,节点二设置为node.tag:value2等等。创建索引时将index.routing.allocation.include.tag属性设置为value1和value2后,我们将会创建一个只部署在节点1和节点2的索引。命令如下:
- curl -XPUT localhost:9200/test/_settings -d '{
- "index.routing.allocation.include.tag" : "value1,value2"
- }'
如果不想将索引添加到上述两个节点上,可以使用index.routing.allocation.exclude.tag属性。如下:
- curl -XPUT localhost:9200/test/_settings -d '{
- "index.routing.allocation.exclude.tag" : "value1,value2"
- }'
index.routing.allocation.require.*用于指定几个规则,满足这些规则则会被分配到该节点上。
include,exclude和require的值也支持简单的通配符,比如value1*,另外,_ip,_name,_id和_host这些属于特定的属性名称,他们分别匹配节点的IP地址,名称,ID和主机名。以上的索引配置可以使用API进行实时的更新。
2、节点分片总数
index.routing.allocation.total_shards_per_node
设置可以控制es节点上每个索引最大能分配的分片个数。该配置可以使用API进行动态更新。
3、基于磁盘的分片分配
(该配置在es1.3.0后才有效)
Elasticsearch可以根据节点磁盘的使用情况来配置分片分配。该配置默认开启你,可以下面命令进行禁用:
- curl -XPUT localhost:9200/_cluster/settings -d '{
- "transient" : {
- "cluster.routing.allocation.disk.threshold_enabled" : false
- }
- }'
Elasticsearch使用两个配置参数决定分片是否能存放到某个节点上。
cluster.routing.allocation.disk.watermark.low:控制磁盘使用的低水位。默认为85%,意味着如果节点磁盘使用超过85%,则ES不允许在分配新的分片。当配置具体的大小如100MB时,表示如果磁盘空间小于100MB不允许分配分片。
cluster.routing.allocation.disk.watermark.high:控制磁盘使用的高水位。默认为90%,意味着如果磁盘空间使用高于90%时,ES将尝试分配分片到其他节点。
上述两个配置可以使用API动态更新,ES每隔30s获取一次磁盘的使用信息,该值可以通过cluster.info.update.interval来设置。