Elasticsearch索引分片损坏该怎么办?(三)

简介: 前面我们学习了 Elasticsearch集群异常状态(RED、YELLOW)原因分析 ……

前面我们学习了 Elasticsearch集群异常状态(RED、YELLOW)原因分析 ,了解到了当集群发生主分片无法上线的情况下,集群状态会变为RED,此时相应的RED索引读写请求都会受到严重的影响。

背景

  • 前面我们学习了 Elasticsearch集群异常状态(RED、YELLOW)原因分析 ,了解到了当集群发生主分片无法上线的情况下,集群状态会变为RED,此时相应的RED索引读写请求都会受到严重的影响。
  • 这里我们将介绍索引分片损坏这种情况,当索引分片发生损坏时,对应的主分片会无法分配,且状态也会是RED。然而分片的损坏的情况又分为很多种,有些只是表象,可以通过一些手段恢复,但有些则是真实的物理损坏,且无法恢复,只能丢弃部分数据,甚至整块分片。

问题

场景:集群节点文件系统故障引起的分片损坏

这种情况也是比较常见的,一般我们可以通过explain api来确认:

[root@sh ~]# curl -s -XGET localhost:9200/_cluster/allocation/explain?pretty
{
   
    "index": "d4f811fc-4a43-40ca-a362-ebdaa9f23a720722",
    "shard": 5,
    "primary": true,
    "current_state": "unassigned",
    "unassigned_info": {
   
        "reason": "MANUAL_ALLOCATION",
        "at": "2021-07-11T03:05: 49.2417",
        "details": "failed shand on node[IEW657FYSZiiUn53LjBcuAJ]: shard failure,reason [failed to recover from translog], failure EngineException[failed to recover from translog]; nested:TranslogCorruptedException[translogfrom source [/data2/containers/1620201319003550632/es/data/nodes/0/indices/g2Zz7YV6FRj6xPETjZAzCOg/5/translog/translog-38.tlog] is corrupted, operation size is corrupted must be [0..65615539] but was: 2065851766]; ", 
        "last_allocation_status ": "no_valid_shard_copy "
    },
    "can _allocate": "no_valid_shard_copy",
    "allocate_explanation": "cannot allocate because all found copies of the shard are either stale or conrupt",
    "node_allocation_decisions": [
        "node_id": "OGORzwn5T2CknwuCkHSNHA",
        "node_ name": "1617024100001322232",
        "transport_address": "9.10.179.196:9300",
        "node_attributes": {
   
            "ml.machine_memory": "67211821056",
            "rack": "cvm_1_100003",
            "xpack.installed": "true",
            "set": "100003",
            "ip": "9.10.179.196",
            "temperature": "warm",
            "ml.max_open_jobs": "20",
            "region": "1"
        },
        "node_decision": "no",
        "store": {
   
            "found": false
        }
    ]
}

解决方案

方案一:重试分配上线失败的分片

这是一种乐观的场景,这种情况通常是由于集群压力大,导致的分片无法分配,这里我们尝试重新分配:

[root@sh ~]# curl -s -XPOST localhost:9200/_cluster/reroute?retry_failed=true
{
   
  "acknowledged": true,
  "state": {
   
    "cluster_uuid": "LOk2L8k5RsmCC7eg2y3h8A",
    "version": 533752,
    "state_uuid": "jVm_8aAIT6ug9NBJazjVig",
    "master_node": "kHbBiclxR5-c-rsra2A5Jg",
    "blocks": {
   

    },
    "nodes": {
   
      "m5eloUNuTJak4xDRqf3FeA": {
   
        "name": "1625799512002116132",
        "ephemeral_id": "dqHmYahLSbuqvSkRXy2IPg",
        "transport_address": "9.27.34.96:9300",
        "attributes": {
   
          "ml.machine_memory": "134587404288",
          "rack": "cvm_33_330002",
          "xpack.installed": "true",
          "set": "330002",
          "transform.node": "true",
          "ip": "9.27.34.96",
          "temperature": "hot",
          "ml.max_open_jobs": "20",
          "region": "33"
        }
      },
    "security_tokens": {
   
    }
  }
}

方案二:REOPEN分片

reopen的目的是触发索引分片重新上线,直接调用_close和_open api即可:

[root@sh ~]# curl -s -XPOST localhost:9200/twitter/_close?pretty
{
   
  "acknowledged": true
}
[root@sh ~]# curl -s -XPOST localhost:9200/twitter/_open?pretty
{
   
  "acknowledged": true,
  "shards_acknowledged": true
}

方案三:分配陈腐的分片

如果retry_failed和reopen索引都无法使分片上线,则需要考虑使用reroute api分配stale primary。执行这个api之前,我们需要得到一些信息:

  • 索引名称和分片ID可以通过explain api直观看到;
  • 节点名称可以通过unassigned_info.details得到。

根据这些信息,我们就可以执行reroute api了:

[root@sh ~]# curl -s -H "Content-Type:application/json" -XPOST "localhost:9200/_cluster/reroute?pretty" -d '
{
   
  "commands": [
    {
   
      "allocate_stale_primary": {
   
      "index": "{索引名称}",
      "shard": "{分片ID}",
      "node": "{节点名称}",
      "accept_data_loss": true
      }
    }
  ]
}

方案四:丢弃部分trasnlog文件

这块无法上线的分片有2GB ,但是提示有一个的translog-38损坏了。登上对应节点的服务器,看了下这个文件有6mb,于是我们把它move走,移到/tmp,然后再次执行方案三,这样allocate_stale_primary操作就可以最大限度的恢复分片数据:

[root@sh ~]# mv /data2/containers/1620201319003550632/es/data/nodes/0/indices/g2Zz7YV6FRj6xPETjZAzCOg/5/translog/translog-38.tlog /tmp
[root@sh ~]# curl -s -H "Content-Type:application/json" -XPOST "localhost:9200/_cluster/reroute?pretty" -d '
{
   
  "commands": [
    {
   
      "allocate_stale_primary": {
   
      "index": "{索引名称}",
      "shard": "{分片ID}",
      "node": "{节点名称}",
      "accept_data_loss": true
      }
    }
  ]
}

方案五:丢弃分片(三思!慎用!)

如果以上的所有方案都无法使分片上线,为了不影响索引读写请求,就只能丢弃掉损坏的分片了,这是最糟糕的情况:

[root@sh ~]# curl -s -H "Content-Type:application/json" -XPOST "localhost:9200/_cluster/reroute?pretty" -d '
{
   
    "commands" : [
        {
   
          "allocate_empty_primary" : {
   
              "index" : "{索引名称}", 
              "shard" : "{分片ID}",
              "node" : "{节点名称}",
              "accept_data_loss": true
          }
        }
    ]
}'
目录
相关文章
|
缓存
Storcli工具使用方法(附管理工具)
Storcli工具使用方法(附管理工具)
4039 0
|
云栖大会 开发者
收到阿里云【乘风者计划】博主证书和奖励
收到阿里云【乘风者计划】博主证书和奖励 2023年2月对我来说是一个很好的开端,因为我在1号就收到了阿里云寄给我的【乘风者计划】博主证书和奖励。好兆头啊! 我收到的是我获得的【技术博主】【星级博主】【专家博主】三个的奖品和证书,一快给我寄过来哒!
3544 2
收到阿里云【乘风者计划】博主证书和奖励
|
29天前
|
固态存储 Java 测试技术
Elasticsearch 6.0.0本地单机16核32G压测报告
Elasticsearch 6.0.0本地单机16核32G压测报告
142 28
|
8天前
|
存储 缓存 Java
考古|ES 5.0 插件改动要先列已装插件再对照,site 插件下线、bin/plugin 改名
5.0 的插件改动有 14 条,但哪条对你有影响,取决于 plugins 目录里装了什么。
80 2
|
8天前
|
运维 Java Shell
考古|ES 5.0 换了仓库域名和 jvm.options,节点能启动不代表参数生效了
5.0 的安装包层面有几处影响运维习惯的变更:apt/yum 仓库从 packages.elasti……
74 1
|
10天前
|
机器学习/深度学习 安全 Java
考古|Groovy 迁 Painless,ES 5.0 最常见的差异是参数要加 params. 前缀
5.0 把默认脚本语言从 Groovy 换成 Painless。
68 1
|
10天前
|
缓存 运维 监控
考古|warmers 没用之后被 ES 5.0 删掉,快照期间关索引改成请求失败
5.0 有三处和索引操作、监控相关的变更:warmers 及 warmer API 被移除(2.3 起已标记废弃……
77 1
|
11天前
|
运维 Java API
考古|search_type=count 和 scan 在 ES 5.0 被删,藏得最深的是定时任务
count 从 2.0 起废弃、scan 从 2.1 起废弃,到 5.0 两个 search type 被移除。
92 2
|
11天前
|
JSON 监控 API
考古|不认识的 URL 参数在 ES 5.0 起直接报错
5.0 起 Elasticsearch 不再忽略无法识别的 URL 查询参数,请求会直接失败;
106 1
|
12天前
|
机器学习/深度学习 缓存 Java
考古|query 和 filter 曾经是两回事,ES 2.0 合成一套后老写法要重新验
2.0 把查询与过滤器合并成一套查询子句,差别只剩上下文。
110 2

热门文章

最新文章