Elasticsearch集群异常状态(RED、YELLOW)原因分析

简介: Elasticsearch集群异常状态(RED、YELLOW)原因分析

GREEN是最健康的状态,说明所有的分片包括副本都可用。

集群状态为什么会异常?

想知道这个,我们首先需要了解一下集群的几种状态。

Elasticsearch 集群健康状态分为三种:

  • GREEN
  • YELLOW
  • RED

GREEN是最健康的状态,说明所有的分片包括副本都可用。这种情况Elasticsearch集群所有的主分片和副本分片都已分配,Elasticsearch集群是100%可用的。

那么,集群状态在什么情况下发生RED和YELLOW呢?

YELLOW:主分片可用,但是副本分片不可用。这种情况Elasticsearch集群所有的主分片已经分配了,但至少还有一个副本是未分配的。不会有数据丢失,所以搜索结果依然是完整的。不过,集群高可用性在某种程度上会被弱化。可以把yellow想象成一个需要关注的warnning,该情况不影响索引读写,一般会自动恢复。

RED:存在不可用的主分片。此时执行查询虽然部分数据仍然可以查到,但实际上已经影响到索引读写,需要重点关注。这种情况Elasticsearch集群至少一个主分片(以及它的全部副本)都在缺失中。这意味着索引已缺少数据,搜索只能返回部分数据,而分配到这个分片上的请求都返回异常。

查看集群状态

使用kibana开发工具,查看集群状态:

GET /_cluster/health

这里可以看到,当前集群状态为red,有9个未分配的分片

ES健康接口返回内容官方解释

指标 含义
cluster_name 集群的名称
status 集群的运行状况,基于其主要和副本分片的状态。状态为:– green所有分片均已分配。– yellow所有主分片均已分配,但未分配一个或多个副本分片。如果群集中的某个节点发生故障,则在修复该节点之前,某些数据可能不可用。– red未分配一个或多个主分片,因此某些数据不可用。在集群启动期间,这可能会短暂发生,因为已分配了主要分片。
timed_out 如果false响应在timeout参数指定的时间段内返回(30s默认情况下)
number_of_nodes 集群中的节点数
number_of_data_nodes 作为专用数据节点的节点数
active_primary_shards 活动主分区的数量
active_shards 活动主分区和副本分区的总数
relocating_shards 正在重定位的分片的数量
initializing_shards 正在初始化的分片数
unassigned_shards 未分配的分片数
delayed_unassigned_shards 其分配因超时设置而延迟的分片数
number_of_pending_tasks 尚未执行的集群级别更改的数量
number_of_in_flight_fetch 未完成的访存数量
task_max_waiting_in_queue_millis 自最早的初始化任务等待执行以来的时间(以毫秒为单位)
active_shards_percent_as_number 群集中活动碎片的比率,以百分比表示

问题分析

当集群状态异常时,需要重点关注unassigned_shards没有正常分配的分片,这里举例说明其中一种场景。

找到异常索引

查看索引情况,并根据返回找到状态异常的索引

GET /_cat/indices

查看详细的异常信息

GET /_cluster/allocation/explain

这里通过异常信息可以看出:

  1. 主分片当前处于未分配状态( current_state ),发生这个问题的原因是因为分配了该分片的节点已从集群中离开( unassigned_info.reason );
  2. 发生了上诉问题之后,分片无法自动分配分片的原因是集群中没有该分片的可用副本( can_allocate );
  3. 同时也给出了更详细的信息( allocate_explanation )

这种情况发生的原因是因为集群有节点下线,导致主分片已没有任何可用的分片数据,当前唯一能做的事就是等待节点恢复并重新加入集群。

注:某些极端场景,比如单副本集群的分片发生了损坏,或是文件系统故障导致该节点被永久移除,而此时只能接受数据丢失的事实,并通过reroute commends来重新分配空的主分片。

分片未分配(unassigned_info.reason)的所有可能

reason 原因
INDEX_CREATED 索引创建,由于API创建索引而未分配的
CLUSTER_RECOVERED 集群恢复,由于整个集群恢复而未分配
INDEX_REOPENED 索引重新打开
DANGLING_INDEX_IMPORTED 导入危险的索引
NEW_INDEX_RESTORED 重新恢复一个新索引
EXISTING_INDEX_RESTORED 重新恢复一个已关闭的索引
REPLICA_ADDED 添加副本
ALLOCATION_FAILED 分配分片失败
NODE_LEFT 集群中节点丢失
REROUTE_CANCELLED reroute命令取消
REINITIALIZED 重新初始化
REALLOCATED_REPLICA 重新分配副本

可以通过上诉分析方式初步判断集群产生未分配分片的原因,一般都可以在allocation explain api中得到想要的答案。

小结

可见,集群状态和分片是否分配有直接关系。所以遇到集群状态异常时,直接分析分片没有分配的原因即可,对症下药,从根本解决问题。

目录
相关文章
|
1天前
|
弹性计算 缓存 安全
阿里云 ECS 上部署 DSH 门禁控制台:安全组与出网怎么配
DSH插件控制台部署指南:仅监听127.0.0.1:3080,须通过SSH隧道或反向代理访问;推荐2核4G/40G配置;内地机房需替换GitHub搜索源;安全组禁放3080端口;插件安装须用npm包名而非仓库名。(239字)
28 1
|
16小时前
|
JSON 关系型数据库 MySQL
云数据库MySQL导入云数据仓库PostgreSQL最佳实践
云数据库MySQL导入云数据仓库PostgreSQL最佳实践
26 1
|
2天前
|
SQL 自然语言处理 安全
Elasticsearch 终于能在查询时 JOIN 了
ES|QL 的 LOOKUP JOIN 让查询时关联另一张表成为可能,不用再靠应用层拼或者写入时冗余。
39 1
|
1天前
|
缓存 边缘计算 小程序
2026 阿里云 CDN 实战指南:网站小程序 APP 静态加速、缓存策略配置、流量计费与刷新预热 API 教程
阿里云CDN把静态资源缓存到遍布各地边缘节点,就近响应用户请求,降低访问延迟,大幅削减源站服务器带宽压力,是网站、小程序、APP业务静态分发的标准解决方案。接入业务需要区分静态资源与动态接口,动态接口不适合普通CDN;上线务必配置防盗链防护,避免盗刷带来高额账单。调优核心目标是提升缓存命中率,合理规划缓存规则,资源更新优先使用版本哈希,减少刷新调用;OSS源站优先同地域内网回源,降低源站流量开销。同时可以通过OpenAPI、CLI实现刷新预热自动化,融入CI/CD发布流程,版本发布自动清理缓存,减少人工运维工作量,保障静态资源分发稳定、低成本、高性能。
|
1天前
|
人工智能 安全 API
阿里云百炼API Key创建、复制及获取方法(新手一看就懂)
阿里云百炼API Key在控制台「API Key」页创建与复制,支持北京等多地域。新用户免费领超7000万Tokens,还可选Token/Coding Plan更省钱。安全提示:勿硬编码、勿泄露密钥。在阿里云百炼官网:https://t.aliyun.com/U/fPVHqY 免费领取千万Tokens
|
1天前
|
人工智能 自然语言处理 UED
官网GEO优化指南:从展示窗口到AI品牌认知中心
AI时代,官网已从“给人看”的展示窗口,升级为“给AI看”的知识中枢:作为AI理解品牌的首要信源与GEO优化基础设施,需沉淀结构化知识、部署语义标记、持续更新,打造可信、可读、可引用的品牌知识资产。(238字)
|
15小时前
|
SQL Shell
通过psql脚本返回值判断Greenplum任务是否执行成功
通过psql脚本返回值判断Greenplum任务是否执行成功
28 0
|
1天前
|
SQL 关系型数据库 数据库
使用psql客户端免交互执行Greenplum SQL
使用psql客户端免交互执行Greenplum SQL
26 0
|
2天前
|
人工智能 安全 物联网
15 台 55 美元的电视盒,跑通了 260 亿参数的模型:AI 蠕虫已露出“生命迹象”
几十块钱的杂牌电视盒算力很弱,但 Anthropic 的这份报告想说明:弱,不等于没有风险。
56 0
|
2天前
|
存储 SQL JSON
向Greenplum中导入json数据
JSON是一种文本方式展示结构化数据的方式,从产生的时候开始就由于其简单好用、跨平台……
35 0