《Elastic(中国)基础开发宝典》——大规模测试新的 Elasticsearch 冷层可搜索快照

简介: 《Elastic(中国)基础开发宝典》——大规模测试新的 Elasticsearch 冷层可搜索快照

在这篇博客中,我们将带您了解一下我们为确保冷层在大规模部署中完美运行而探 索过的场景,这些研究探索突显了我们高度重视解决方案的质量和可靠性。


1. 冷层知识回顾


冷层仅将主分片保留在本地存储上,不需要副本分片,而是依靠快照来提供必要的 弹性,从而降低了集群成本。本地存储本质上类似于存储库中快照数据的缓存版本。


在冷节点或本地存储运行不正常的情况下,可搜索快照将自动恢复,并将分片重新 平衡到其他节点上。


在全集群重启或滚动重启(或节点重启)的情况下,本地存储是持久性的,本地可 用的数据将不会从快照中重新下载,从而最大限度地减少恢复为绿色集群所需的时 间,并避免不必要的网络成本。


为了确保所有这些工作在大规模部署时能按预期进行,我们将验证工作集中在3个 场景上,所有场景都使用以下配置:


• 5 个 Elasticsearch 节点(16G 堆);

• 采用RAID-0配置的6个2TB磁盘;

• 5TB的日志数据快照,分布在10个索引中,每个索引有5个分片,强制合并为 一个段(强制合并可优化索引以提高读取访问性能,并减少发生故障时需要恢 复的文件数量)。


2. 场景1 :全集群重启


我们验证的第一个场景是全集群重启。为了验证这一点,我们完成了以下步骤:


1)挂载5TB可搜索快照并等待本地缓存完全预热(第0阶段);


2)根据全集群重启指南执行一次全集群重启;


3)重新启用分配后,测量集群需要多长时间:

•  变为绿色状态;

•  完成所有后台下载以预热缓存。


4)确保在第3步之后没有额外的分片重新平衡。


得益于Elasticsearch7.11版新引入的持久层,启动所有节点并重新启用分配后,集 群状态立即变为了绿色,不再发生后台下载。


下面我们可以看到挂载期间(第0阶段)和全集群重新启动并重新启用分配(第1 阶段,没有额外的网络流量)后的累积网络流量:

image.png

 

3.场景2:滚动重启

我们验证的第二种场景是滚动集群重启这一常见情况。


这个实验与全集群重启类似:


1)挂载5TB可搜索快照并等待本地缓存完全预热;


2)通过在停止每个节点之前禁用分片分配,为第一个节点执行滚动重启过程;


3)启动节点并在重新启用分片分配后,测量集群状变为绿色态所需的时间。由于 有持久缓存,我们预计这个过程会很快。此外,我们还查明了每次重启后是否 会发生不必要的后台下载;


4)对集群中的所有其他节点重复第2步和第3步。


这个实验也很成功,多亏了在Elasticsearch7.11版中引入的持久缓存,集群状态几 乎是瞬间变绿,并且没有从快照中进行额外的后台下载。


4,场景3:节点崩溃


最后,我们希望确保在某个节点崩溃时能够执行正确的行为。我们进行了以下实验:


1)挂载5TB可搜索快照并等待本地缓存完全预热(第0阶段)


2)从5个节点中,终止一个Elasticsearch节点(使用SIGKILL终止节点1)并等 待集群再次变为绿色(第1阶段):

• 确保后台下载与从已终止节点托管的分片接收数据相关;

• 变为绿色后,不应进行额外的重新平衡。


3)再次启动故障节点(第2阶段):

   • 只应进行对等恢复(因为所有数据都存在于其余4个节点上)来重新平衡分片;

• 集群应变为绿色。


再一次,这个实验也成功了。终止节点1后,其余节点会(从可搜索快照)自动恢 复缺失节点托管的分片。


集群变为绿色后,没有发生额外的重新平衡,具体见下图,其中直观显示了每个节点的网络流量:

image.png

在恢复缺失的节点后,便开始对等恢复,节点1最终再次托管了必要数量的分片, 以达到一个均匀分布的集群。

image.png

 

5.即刻开始使用


这个功能验证过程让我们非常激动,我们希望它也能引起您的兴趣!


要开始使用可搜索快照以及在冷层存储数据,既可在Elastic Cloud上快速部署一个 集群,也可安装最新版本的Elastic Stack。已经在运行Elasticsearch?只需将集群 升级到7.11版,即可开始试用。如果希望了解更多信息,请阅读数据层和可搜索快照文档。

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
缓存 监控 前端开发
顺企网 API 开发实战:搜索 / 详情接口从 0 到 1 落地(附 Elasticsearch 优化 + 错误速查)
企业API开发常陷参数、缓存、错误处理三大坑?本指南拆解顺企网双接口全流程,涵盖搜索优化、签名验证、限流应对,附可复用代码与错误速查表,助你2小时高效搞定开发,提升响应速度与稳定性。
|
存储 Linux iOS开发
Elasticsearch Enterprise 9.1.5 发布 - 分布式搜索和分析引擎
Elasticsearch Enterprise 9.1.5 (macOS, Linux, Windows) - 分布式搜索和分析引擎
808 0
|
JSON 监控 Java
Elasticsearch 分布式搜索与分析引擎技术详解与实践指南
本文档全面介绍 Elasticsearch 分布式搜索与分析引擎的核心概念、架构设计和实践应用。作为基于 Lucene 的分布式搜索引擎,Elasticsearch 提供了近实时的搜索能力、强大的数据分析功能和可扩展的分布式架构。本文将深入探讨其索引机制、查询 DSL、集群管理、性能优化以及与各种应用场景的集成,帮助开发者构建高性能的搜索和分析系统。
865 0
|
数据采集 人工智能 运维
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
本文介绍了阿里云 Elasticsearch 推出的创新型 AI 搜索方案
1213 3
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
|
存储 安全 Linux
Elasticsearch Enterprise 9.0 发布 - 分布式搜索和分析引擎
Elasticsearch Enterprise 9.0 (macOS, Linux, Windows) - 分布式搜索和分析引擎
660 0
|
存储 Linux iOS开发
Elasticsearch Enterprise 8.18 发布 - 分布式搜索和分析引擎
Elasticsearch Enterprise 8.18 (macOS, Linux, Windows) - 分布式搜索和分析引擎
585 0
|
人工智能 自然语言处理 搜索推荐
云端问道12期实操教学-构建基于Elasticsearch的企业级AI搜索应用
本文介绍了构建基于Elasticsearch的企业级AI搜索应用,涵盖了从传统关键词匹配到对话式问答的搜索形态演变。阿里云的AI搜索产品依托自研和开源(如Elasticsearch)引擎,提供高性能检索服务,支持千亿级数据毫秒响应。文章重点描述了AI搜索的三个核心关键点:精准结果、语义理解、高性能引擎,并展示了架构升级和典型应用场景,包括智能问答、电商导购、多模态图书及商品搜索等。通过实验部分,详细演示了如何使用阿里云ES搭建AI语义搜索Demo,涵盖模型创建、Pipeline配置、数据写入与检索测试等步骤,同时介绍了相关的计费模式。
627 3
|
数据采集 人工智能 运维
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
本文介绍了阿里云 Elasticsearch 推出的创新型 AI 搜索方案。
1377 5
|
人工智能 算法 API
构建基于 Elasticsearch 的企业级 AI 搜索应用
本文介绍了基于Elasticsearch构建企业级AI搜索应用的方案,重点讲解了RAG(检索增强生成)架构的实现。通过阿里云上的Elasticsearch AI搜索平台,简化了知识库文档抽取、文本切片等复杂流程,并结合稠密和稀疏向量的混合搜索技术,提升了召回和排序的准确性。此外,还探讨了Elastic的向量数据库优化措施及推理API的应用,展示了如何在云端高效实现精准的搜索与推理服务。未来将拓展至多模态数据和知识图谱,进一步提升RAG效果。
861 1
|
搜索推荐 API 定位技术
一文看懂Elasticsearch的技术架构:高效、精准的搜索神器
Elasticsearch 是一个基于 Lucene 的开源搜索引擎,以其强大的全文本搜索功能和快速的倒排索引技术著称。它不仅支持数字、文本、地理位置等多类型数据,还提供了可调相关度分数、高级查询 DSL 等功能。Elasticsearch 的核心技术流程包括数据导入、解析、索引化、查询处理、得分计算及结果返回,确保高效处理大规模数据并提供准确的搜索结果。通过 RESTful API、Logstash 和 Filebeat 等工具,Elasticsearch 可以从多种数据源中导入和解析数据,支持复杂的查询需求。
1031 0

热门文章

最新文章

相关产品

  • 检索分析服务 Elasticsearch版