ES节点角色详解

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: ES节点角色详解

前言


ES如果采用单节点部署,不用考虑什么节点角色,默认就好。但是在大规模的ES集群中,一定要根据服务器配置,数据冷热,并发情况等合理配置节点的角色,才能让ES集群节点更好的协调合作,对外提供稳定的服务。


一、ES节点有哪些角色?


ES节点有如下角色:


master 主节点

data 数据节点

data_content 内容数据节点

data_hot 热点数据节点

data_warm 暖数据节点

data_cold 冷数据节点

data_frozen 冻结数据节点

ingest 摄取节点

ml 机器学习节点

remote_cluster_client 远程集群客户端节点

transform 转换节点

voting_only 仅投票节点

coordinating 仅协调节点

注意⚠️:

1、如果你设置了 node.roles,则节点只会分配你指定的角色。 如果不设置 node.roles,节点将被分配以上所有角色(除了voting_only 和coordinating角色例外)。

2、节点不等同于服务器,一个服务器上可以部署多个节点。

3、启动一个Elasticsearch 实例时,都在启动一个节点。 连接节点的集合称为集群。

4、集群中的每个节点都可以处理 HTTP 和传输流量。 传输层专门用于节点之间的通信; HTTP 层由 REST 客户端使用。

5、所有节点都知道集群中的所有其他节点,并且可以将客户端请求转发到适当的节点。


二、怎么设置节点的角色


只需要在elasticsearch.yml通过node.roles属性设置即可


可以同时指定多个角色


node.roles: [ data, master, voting_only ]


注意⚠️:

一个ES集群中,必须有以下角色:


master

data_content and data_hot

OR

data


三、节点角色介绍


1、master 主节点

功能说明:

主节点负责轻量级集群范围的操作,例如创建或删除索引、跟踪哪些节点是集群的一部分

以及决定将哪些分片分配给哪些节点。


任何不是仅投票节点的主合格节点都可以通过主选举过程选举成为主节点。


主节点必须有一个path.data目录,其内容在重启后仍然存在,就像数据节点一样,因为这是

存储集群元数据的地方。集群元数据描述了如何读取存储在数据节点上的数据,因此如果丢失,

则无法读取存储在数据节点上的数据。


如果小型或轻负载集群的主节点具有其他角色和职责,则其可能运行良好,但是一旦您的集群包含多个节点,使用专用的主节点通常是有意义的。


角色配置:

要创建一个专用的主节点,请设置:


node.roles: [ master ]


2、voting_only 仅投票节点

功能说明:

只能参与主节点的投票选举环节,但是自己不能被选举为master。


高可用性 (HA) 集群需要至少三个符合主节点的节点,其中至少两个不是仅投票节点。这样即使其中一个节点发生故障,集群也能够选举出一个主节点。

所有符合主节点的节点,包括仅投票节点,都需要相当快的持久存储以及与集群其余部分的可靠且低延迟的网络连接,因为它们处于发布集群状态更新的关键路径上 。


角色配置:

要创建仅投票节点,请设置:


node.roles: [ master, voting_only ]


即是数据节点,也是仅投票节点。


node.roles: [ data, master, voting_only ]


注意⚠️:

只有具有master角色的节点才能被标记为具有 voting_only角色。


3、data 数据节点

功能说明:

数据节点保存包含已编入索引的文档的分片。数据节点处理数据相关操作,如 CRUD、搜索和聚合。

这些操作是 I/O 密集型、内存密集型和 CPU 密集型的。监控这些资源并在它们过载时添加更多数据节点非常重要。

拥有专用数据节点的主要好处是主角色和数据角色的分离。


在多层部署架构,您可以使用专门的数据角色分配数据节点到指定等级:

data_content,data_hot,data_warm, data_cold,或data_frozen。

一个节点可以属于多个层,但具有其中一个专用数据角色的节点不能具有通用data角色。


作用:

1、保存索引数据

2、处理数据相关操作,如 CRUD、搜索和聚合。


角色配置:

要创建专用数据节点,请设置:


node.roles: [ data ]


4、data_content 内容数据节点

内容数据节点容纳用户创建的内容。它们支持 CRUD、搜索和聚合等操作。

要创建专用内容节点,请设置:


node.roles: [ data_content ]


5、data_hot 热点数据节点

热数据节点在进入 Elasticsearch 时存储时间序列数据。热层必须快速读取和写入,并且需要更多的硬件资源(例如 SSD 驱动器)。

要创建专用热节点,请设置:


node.roles: [ data_hot ]


6、data_warm 暖数据节点

暖数据节点存储不再定期更新但仍在查询的索引。查询量的频率通常低于索引处于热层时的频率。性能较低的硬件通常可用于此层中的节点。


要创建专用的暖节点,请设置:


node.roles: [ data_warm]


7、data_cold 冷数据节点

冷数据节点存储访问频率较低的只读索引。此层使用性能较低的硬件,并且可以利用可搜索的快照索引来最小化所需的资源。


要创建专用冷节点,请设置:


node.roles: [ data_cold]


8、data_frozen 冻结数据节点

冻结层 专门存储部分安装的索引。我们建议您在冻结层中使用专用节点。

要创建专用的冻结节点,请设置:


node.roles: [ data_frozen]


9、ingest 摄取节点

摄取节点可以执行由一个或多个摄取处理器组成的预处理管道。根据摄取处理器执行的操作类型和所需资源,拥有仅执行此特定任务的专用摄取节点可能是有意义的。


要创建专用摄取节点,请设置:


node.roles: [ingest]


10、coordinating 仅协调节点

如果您取消了处理主职责、保存数据和预处理文档的能力,那么您就剩下一个只能路由请求、处理搜索减少阶段和分发批量索引的协调节点。

本质上,仅协调节点的行为就像智能负载均衡器。

通过从数据和符合主节点的节点卸载协调节点角色,仅协调节点可以使大型集群受益。他们加入集群并接收完整的集群状态,就像其他每个节点一样,他们使用集群状态将请求直接路由到适当的地方。


要创建专用协调节点,请设置:


node.roles:[ ]

11、remote 远程集群客户端节点

远程集群客户端节点充当跨集群客户端并连接到 远程集群。连接后,您可以使用跨集群搜索来搜索远程集群。您还可以使用跨集群复制在集群之间同步数据。


node.roles:[ remote_cluster_client ]


12、ml 机器学习节点

机器学习节点运行作业并处理机器学习 API 请求。


要创建专用机器学习节点,请设置:


node.roles:[ml,remote_cluster_client]


注意⚠️:

一般开启ml角色的节点,推荐同时开启remote_cluster_client角色。


13、transform 转换节点

转换节点运行转换并处理转换 API 请求。


要创建专用变换节点,请设置:


node.roles: [ transform, remote_cluster_client ]


注意⚠️:

一般开启transform角色的节点,推荐同时开启remote_cluster_client角色。


小结:

重点理解master节点和data节点即可。

master节点负责轻量级集群范围的操作,比如创建或删除索引,跟踪集群中节点位置以及分片分配。

data节点负责存储数据,并处理数据相关操作,如 CRUD、搜索和聚合。


四、改变节点角色


存储数据说明

1、data数据节点


分配给该节点的每个分片的分片数据

分配给该节点的每个分片对应的索引元数据

集群范围的元数据,例如设置和索引模板

2、master主节点


集群中每个索引的索引元数据

集群范围的元数据,例如设置和索引模板


数据检查机制

每个节点在启动时会检查其数据路径的内容。如果它发现意外数据,它将拒绝启动。这是为了避免导入可能导致红色集群运行状况的不需要的悬空索引。更准确地说,没有data角色的节点在启动时如果在磁盘上找到任何分片数据将拒绝启动,而没有角色master和data角色的节点如果在启动时在磁盘上有任何索引元数据将拒绝启动。


更改节点角色

可以通过调整其elasticsearch.yml文件并重新启动它来更改节点的角色 。这称为重新调整节点的用途。为了满足上述对意外数据的检查,您必须执行一些额外的步骤来准备节点,以便在没有data或master角色的情况下启动节点时重新调整用途。

如果您想通过删除data角色来重新调整数据节点的用途,那么您应该首先使用分配过滤器将所有分片数据安全地迁移到集群中的其他节点上。

如果您想重新调整节点的用途,使其既没有data也没有master角色,那么最简单的方法是启动一个带有空数据路径和所需角色的全新节点。您可能会发现首先使用分配过滤器将分片数据迁移到集群中的其他位置是最安全的 。

如果无法执行这些额外步骤,那么您可以使用该elasticsearch-node repurpose工具删除任何阻止节点启动的多余数据。


五、节点数据路径设置


每个数据和主节点都需要配置数据存储目录,其中存储分片、索引和集群元数据的path.data默认为$ES_HOME/data,用户可以在elasticsearch.yml中自己配置。

配置文件中指定:


path.data:  /var/elasticsearch/data


启动命令中指定:


./bin/elasticsearch -Epath.data=/var/elasticsearch/data


说明:

更推荐在配置文件中指定的方式。


总结


本节主要是对ES集群中的节点角色进行了说明。

1、一个可用的ES集群中,必须具备master节点和data节点。

2、详细说明了各个节点角色的作用以及配置方法

3、介绍了master节点和data节点负责的功能:


master节点负责轻量级集群范围的操作,比如创建或删除索引,跟踪集群中节点位置以及分片分配。

data节点负责存储数据,并处理数据相关操作,如 CRUD、搜索和聚合。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
2月前
|
安全 开发者
自定义全局角色,实现按岗赋权
Dataphin作为企业级数据建设和治理平台,提供了丰富的产品功能,在日常使用的过程中,如何分配权限是管理员一直关心的问题。Dataphin V4.0版本支持自定义全局角色功能,帮助管理员实现按岗赋权,使管理员能够自由配置每个角色在Dataphin中的菜单和功能权限,确保平台的权限安全。
|
数据库连接 数据库
oushudb-角色属性
oushudb-角色属性
29 0
|
Kubernetes 调度 Perl
k8s集群中让master也能运行pod,并且修改角色标签
k8s集群中让master也能运行pod,并且修改角色标签
555 0
|
Perl
EKS集群以及节点组注意事项
EKS集群以及节点组注意事项
247 0
|
存储 负载均衡 监控
ES节点角色深层解读,及高可用集群架构角色设计
ES节点角色深层解读,及高可用集群架构角色设计
node26-系统模块path路径操作
node26-系统模块path路径操作
55 0
node26-系统模块path路径操作
|
开发者
创建一个节点|学习笔记
快速学习 创建一个节点
108 0
ES集群状态发布流程
简述ES集群状态发布的过程,以及对超时的处理。
531 0
|
索引
Elasticsearch 集群更换节点角色有了更快的方式
1、实战遇到的问题 问题描述:如何在一个四个节点的集群中,将主节点中的数据分散到其他节点中去,最后主节点没有数据? 问题细节: 线上环境有4个节点,单节点为48核的物理机,252G的内存。 数据每日增量不大,累计数据就一个TB左右。数据的类型为文书类数据。 核心数据就一个索引,设置了48个分片。 只设置了一个主节点(同时是数据节点),其余三个仅数据节点。
655 0
Elasticsearch 集群更换节点角色有了更快的方式
|
弹性计算 Kubernetes 容器
手动为Kubernetes节点添加阿里云RAM角色
容器服务Kubernetes需要通过节点的RAM角色权限来访问云服务。早期创建的集群没有设置相应的实例角色,可以通过以下步骤手动为ECS 绑定RAM角色。
1770 0