【Elastic Engineering】Elastic:Elasticsearch 的分片管理策略

简介: Elastic:Elasticsearch 的分片管理策略

作者:刘晓国

在本教程中,我们介绍了一些与 Elasticsearchimage.png中的分片管理相关的常见问题,其解决方案以及一些最佳实践。 在某些用例中,我们结合了特殊的技巧来完成任务。


将 Shard 从一个节点移动到另一个节点


当处理任何大小的集群时,这是最常见的用例之一。 一个典型的场景是,如果在一个节点上共存了太多分片,它们将全部用于查询或索引。


这种情况表示节点/群集健康的潜在风险。 因此,将分片从一个节点移动到另一个节点是一个好习惯。 Elasticsearch 可能不会自动处理这种情况,这意味着我们需要手动进行干预。 如何做到这一点?


Elasticsearch 提供了一个集群级 API,该 API 允许将碎片从一个节点移动到另一个节点。 让我们在下面查看使用此 API 的示例:


重要的是要注意,在处理任何重新路由命令之后,Elasticsearch 将正常执行重新平衡(尊重诸如 cluster.routing.rebalance.enable 之类的设置的值),以便保持平衡状态。例如,如果请求的分配包括将分片从节点1移动到节点2,则这可能导致分片从节点2移动回到节点1来保持平衡。


可以使用 cluster.routing.allocation.enable 设置将集群设置为禁用分配。如果禁用了分配,则将执行的唯一分配是使用 reroute 命令指定的显式分配,以及由于重新平衡而导致的后续分配。


通过使用 ?dry_run URI 查询参数,或通过在请求正文中传递 “dry_run”: true,可以在 “dry run” 模式下运行重新路由命令。这将计算将命令应用于当前群集状态的结果,并在应用命令(和重新平衡)后返回结果群集状态,但实际上不会执行所请求的更改。


我们可以使用 reroute API 来实现把一个 shard 从一个节点移动到另外一个节点。下面是一个例子:

POST /_cluster/reroute
{
  "commands": [
    {
      "move": {
        "index": "test",
        "shard": 0,
        "from_node": "node1",
        "to_node": "node2"
      }
    },
    {
      "allocate_replica": {
        "index": "test",
        "shard": 1,
        "node": "node3"
      }
    }
  ]
}

在上面,我们强制把索引 test 的 shard 0 从node1 移到 node2。我们同时也强制分配索引 test 的 shard 1到node3中。


停用节点


另一个用例是从活动集群中停用节点。 这种情况下的主要挑战之一是在不导致群集停机或重启的情况下停用节点。 幸运的是,Elasticsearch 提供了一个选项,可以在不丢失数据或不会造成停机的情况下,优雅地删除/停用节点。 让我们看看如何实现它:

PUT _cluster/settings
{
  "transient": {
    "cluster.routing.allocation.exclude._ip": "IP of the node"
  }
}

上面的 API 使集群停止分配任何东西到指定节点并排除它。 同时,来自该节点的数据将被移植到非排除节点。 数据传输将在后台进行,完成后将导致从群集中完全删除该节点。


停用某个节点时,其他节点中可用的磁盘空间应大于要传输的数据大小。 否则,群集状态可能会变为红色或黄色,这可能会导致停机。


拥有其他选项来标识要停用的节点通常会很有帮助。 在上面的示例中,我们用节点的 “ip” 标识了该节点。 我们还可以使用集群中唯一的 “node ID” 和 “node name” 进行相同的操作。


按节点ID排除


PUT _cluster/settings
{
  "transient": {
    "cluster.routing.allocation.exclude._id": "unique id of the node"
  }
}


按名称排除节点


PUT _cluster/settings
{
  "transient": {
    "cluster.routing.allocation.exclude._name": "name of the node"
  }
}

我们如何查看节点的停用是否结束? 为此,我们有两个规定:


方法一


我们使用如下的方法:

GET _cluster/health?pretty

显示的结果是:

{
  "cluster_name" : "elasticsearch",
  "status" : "yellow",
  "timed_out" : false,
  "number_of_nodes" : 1,
  "number_of_data_nodes" : 1,
  "active_primary_shards" : 26,
  "active_shards" : 26,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 19,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 57.77777777777777
}

在上面 relocating_shards 显示的数值为0,表明目前没有 shard 被重新转移。


方法二


使用以下 API 检查的专有的节点的状态:

GET _cat/nodes?v

通过上面的 API 我们得到 node 的名字:

ip        heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
127.0.0.1           42          50   2    1.94                  dilm      *      liuxg-2.local

然后使用如下的 API:

GET _nodes/liuxg-2.local/stats/indices

在上面的  liuxg-2.local  为我们的 node 的名字。显示的结果为:

  "nodes" : {
    "Zs0Uy-9mTDOifm5Ef8U6FA" : {
      "timestamp" : 1581585326681,
      "name" : "liuxg-2.local",
      "transport_address" : "127.0.0.1:9300",
      "host" : "127.0.0.1",
      "ip" : "127.0.0.1:9300",
      "roles" : [
        "ingest",
        "master",
        "data",
        "ml"
      ],
      "attributes" : {
        "ml.machine_memory" : "34359738368",
        "xpack.installed" : "true",
        "ml.max_open_jobs" : "20"
      },
      "indices" : {
        "docs" : {
          "count" : 0,
          "deleted" : 8
        },
   ...

如果上述的 indices.docs.count 的值为 0,就表示转移已经完成。


重命名索引


另一个用例是重命名索引。 可以根据使用情况以多种方式完成此操作。


Aliasing


如果我们希望在不丢失任何数据的情况下重命名索引,则最常用的方法是别名。


例如,我们想将索引 “testindex” 重命名为 “testindex-1”。 我们可以为索引 “testindex” 提供别名 “testindex-1”,以便所有引用 “testindex-1” 的请求现在都将路由到 “testindex”。 可以按照以下步骤完成:

POST _aliases
{
  "actions": [
    {
      "add": {
        "index": "testindex",
        "alias": "testindex-1"
      }
    }
  ]
}

这种方法使我们可以在停机时间为零的情况下重命名索引。


Reindex API


有时,别名并不是重命名的最佳选择。 在这种情况下,我们剩下称为重新索引的选项。 它将所有文档从目标索引重新索引到目标索引。 为了有效地做到这一点,需要检查两件事:


机器上是否还有足够的空间。

目标索引是否存在正确的映射。

如果满足以上两个条件,我们可以使用如下所示的 reindex API:

POST _reindex
{
  "source": {
    "index": "testindex"
  },
  "dest": {
    "index": "testindex-1"
  }
}


有用链接:


1) In depth guide to running Elasticsearch in production: https://facinating.tech/2020/02/22/in-depth-guide-to-running-elasticsearch-in-production/


相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
8月前
|
JavaScript API 开发工具
阿里云/本地部署OpenClaw 开发Skill插件指南:从入门到发布的全流程实操手册
OpenClaw的强大扩展性源于其开放的插件生态,2026年,插件市场已覆盖办公自动化、数据处理、多端交互等数千个场景,但个性化需求仍需自定义开发。无论是补充现有功能短板,还是实现特定业务流程自动化,插件开发都能让OpenClaw完全适配个人或团队的工作流。
1756 4
|
3月前
|
人工智能 自然语言处理 文字识别
阿里云AI产品免费试用活动解析:超30款AI产品和1亿+大模型tokens免费体验
本文介绍阿里云面向新用户推出的AI产品免费试用活动,整合超30款AI产品与至高1亿+大模型Tokens的普惠权益,覆盖六大核心板块:阿里云百炼1亿+Tokens限免体验、人工智能平台PAI全链路AI开发免费额度、高性能GPU算力资源、10余款自然语言处理产品百万级免费调用额度、视觉智能全栈AI服务试用,同时支持预约AI专家获取专属POC服务。活动从大模型调用、模型训练部署到多模态AI应用开发,为开发者和企业提供零成本的全流程AI探索路径,大幅降低AI技术落地的前期门槛。
|
3月前
|
SQL 关系型数据库 MySQL
全量迁移时源库还在写,数据一致性怎么保证?
数据库迁移最怕的不是慢,是“搬完了发现数据不对”。全量迁移时源库还在写、增量同步时顺序乱了、异构数据库类型映射丢了精度——这些坑,在POC阶段很难暴露,一上生产就变成事故。本文从三种一致性风险场景出发,拆解全量校验、增量校验、抽样校验的完整方法论,帮助读者在迁移项目中做到“数据搬得对、心里有底”。
|
5月前
|
存储 人工智能 安全
CodeGraph爆火:编程Agent的效率革命,一张代码地图替代无限上下文
在AI编程快速普及的当下,编程Agent正成为开发者的核心生产力工具,但大型项目中的上下文困境始终难以突破。传统Agent依赖反复grep、glob、read等操作探索代码,不仅消耗海量Token,还常因信息遗漏导致逻辑错误,尤其在数十万行代码的复杂项目中,效率与成本问题愈发突出。CodeGraph的爆火,正是直击这一痛点——它用一张提前构建的代码地图,替代了无限堆砌的上下文,让编程Agent从“盲人摸象”升级为“精准导航”,彻底改变AI编程的底层逻辑。
513 1
|
5月前
|
存储 人工智能 安全
阿里云服务器经济型e实例2核2G、2核4G、4核8G等配置解析:实例性能、适用场景与活动价格参考
阿里云经济型e实例是面向个人开发者、学生及小微企业的入门级云服务器,2核2G3M带宽仅99元/年,热门配置享3.9折起优惠。产品采用Intel Xeon处理器,支持ESSD Entry云盘,具备企业级SLA与安全标准,国内32个可用区广泛售卖。适用于AI智能体轻载部署、个人学习测试、中小型网站搭建、开发测试环境及轻量级企业应用等场景。
|
8月前
|
人工智能 自然语言处理 前端开发
从需求到上线:AI生成网站的底层原理讲解
本文揭秘AI生成网站的底层逻辑:从需求语义解析、系统结构化建模,到前后端代码自动生成与一键部署,揭示其如何将一句话转化为可运行系统。核心在于提升抽象层级——从写代码转向表达需求。
|
弹性计算 前端开发 NoSQL
2025最新阿里云服务器配置选择攻略:CPU、内存、带宽与系统盘全解析
本文详解2025年阿里云服务器ECS配置选择策略,涵盖CPU、内存、带宽与系统盘推荐,助你根据业务需求精准选型,提升性能与性价比。
|
10月前
|
人工智能 自然语言处理 安全
中小团队高效研发方案:MonkeyCodeAI一键部署与场景化应用
长亭科技MonkeyCodeAI突破AI编程工具同质化困局,定位“企业级AI研发基础设施”,覆盖需求拆解、设计、开发、Review全流程。开源、安全、多模型兼容,支持私有化部署与全栈自然语言编程,赋能个人开发者与企业团队提效提质。(239字)
|
存储 机器学习/深度学习 安全
阿里云计算型实例解析:c7/c8y/c8i/c9i性能对比与场景化选型指南参考
在阿里云目前的活动中,属于计算型的热门云服务器实例规格主要有计算型c7、计算型c8y、计算型c8i和计算型c9i。这些实例规格既有七代和八代实例规格,也有最新推出的九代实例规格。本文将对这些实例规格进行详细对比,并提供场景化选型指南参考。

热门文章

最新文章

相关产品

  • 检索分析服务 Elasticsearch版