ElasticSearch容器化从0到1实践(一)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 通过kubernetes集群聚合多个Elasticsearch集群碎片资源,提高运维效率。

背景

通过kubernetes集群聚合多个Elasticsearch集群碎片资源,提高运维效率。

介绍

Kubernetes Operator 是一种特定的应用控制器,通过 CRD(Custom Resource Definitions,自定义资源定义)扩展 Kubernetes API 的功能,可以用它来创建、配置和管理特定的有状态应用,而不需要直接去使用 Kubernetes 中最原始的一些资源对象。

Elastic Cloud on Kubernetes(ECK) 是其中的一种 Kubernetes Operator,方便我们管理 Elastic Stack 家族中的各种组件,例如 Elasticsearch,Kibana,APM,Beats 等等。比如只需要定义一个 Elasticsearch 类型的 CRD 对象,ECK 就可以帮助我们快速搭建出一套 Elasticsearch 集群。

版本要求

以下为官方给出的版本要求列表,按照实际业务进行评估,确定具体的实施版本和实施方案。

  • Kubernetes 1.24-1.27
  • OpenShift 4.8-4.12
  • Google Kubernetes Engine (GKE), Azure Kubernetes Service (AKS), and Amazon Elastic Kubernetes Service (EKS)
  • Helm: 3.2.0+
  • Elasticsearch, Kibana, APM Server: 6.8+, 7.1+, 8+
  • Enterprise Search: 7.7+, 8+
  • Beats: 7.0+, 8+
  • Elastic Agent: 7.10+ (standalone), 7.14+ (Fleet), 8+
  • Elastic Maps Server: 7.11+, 8+
  • Logstash: 8.7+

实施

现有环境使用方式较为单一,存在2种版本的Elasticsearch集群,其中只有大约一半的7.0+版本符合迁移要求。

现有Kubernetes集群版本为1.24以下,在实际测试和使用中 ECK 2.8版本也是可以的,为了避免误导,建议按照官方建议选择ECK版本。

kubernets与ECK版本兼容参考下表。

Release Date Kubernetes Compatible Versions OpenShift Compatible Versions VMware Tanzu Kubernetes Grid Versions
Elastic Cloud on Kubernetes 1.0.x 2020/1/15 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.1.x 2020/4/28 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.2.x 2020/8/18 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.3.x 2020/11/19 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.4.x 2021/1/26 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.5.x 2021/3/23 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.6.x 2021/5/25 1.16-1.21 3.11, 4.3-4.8
Elastic Cloud on Kubernetes 1.7.x 2021/8/3 1.17-1.22 3.11, 4.3-4.8
Elastic Cloud on Kubernetes 1.8.x 2021/9/21 1.18-1.22 3.11, 4.4-4.8
Elastic Cloud on Kubernetes 1.9.x 2021/12/7 1.18-1.22 3.11, 4.5-4.9 1.4
Elastic Cloud on Kubernetes 2.0.x 2022/2/8 1.19-1.23 4.6-4.10 1.4
Elastic Cloud on Kubernetes 2.1.x 2022/3/1 1.19-1.23 4.6-4.10 1.4
Elastic Cloud on Kubernetes 2.2.x 2022/4/26 1.19-1.23 4.6-4.10 1.4
Elastic Cloud on Kubernetes 2.3.x 2022/6/28 1.20-1.24 4.6-4.10 1.5.4
Elastic Cloud on Kubernetes 2.4.x 2022/8/24 1.20-1.24 4.6-4.10 1.5.4
Elastic Cloud on Kubernetes 2.5.x 2022/11/1 1.21-1.25 4.7-4.11 1.5.4
Elastic Cloud on Kubernetes 2.6.x 2022/12/13 1.21-1.25 4.7-4.11 1.5.4
Elastic Cloud on Kubernetes 2.7.x 2023/3/30 1.22-1.26 4.8-4.12 1.5.4
Elastic Cloud on Kubernetes 2.8.x 2023/5/23 1.24-1.27 4.8-4.12 1.5.4
Elastic Cloud on Kubernetes 2.9.x 2023/7/25 1.24-1.27 4.9-4.13 1.5.4

参考文档

支持的版本:https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s_supported_versions.html

支持一览表:https://www.elastic.co/cn/support/matrix#matrix_kubernetes

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
11天前
|
运维 Kubernetes 监控
构建高效自动化运维系统:基于容器技术的策略与实践
【4月更文挑战第19天】随着云计算和微服务架构的兴起,传统的运维模式正逐渐向自动化、智能化转型。本文将探讨如何利用容器技术构建一个高效、可靠的自动化运维系统,涵盖系统设计原则、关键技术选型以及实践经验分享。通过引入容器技术,我们可以实现应用的快速部署、弹性伸缩和故障自愈,从而提高运维效率,降低系统维护成本。
|
2月前
|
运维 安全 Devops
构建高效稳定的云基础设施:DevOps与容器化技术融合实践
在数字化转型的浪潮中,企业对于IT基础设施的要求越来越高,不仅需要快速响应市场变化,还要确保系统的稳定与安全。本文深入探讨了如何通过融合DevOps文化和容器化技术来构建一个高效、稳定且易于管理的云基础设施。通过实际案例分析,阐述了持续集成/持续部署(CI/CD)流程的优化、自动化测试、监控以及日志管理等关键环节的实施策略,旨在为运维专业人员提供一套切实可行的解决方案。
31 3
|
2月前
|
运维 Kubernetes Devops
构建高效可靠的云基础设施:DevOps与容器化技术融合实践
【2月更文挑战第30天】 在当今快速迭代和竞争激烈的软件开发领域,传统的IT运维模式已难以满足业务发展的需要。本文将探讨如何通过整合DevOps文化和容器化技术,构建一个既高效又可靠的云基础设施。文章首先回顾了DevOps的核心理念及其对运维工作流的影响,接着深入讨论了容器化技术的优势和挑战,并提出了一套结合两者的实施方案。最后,通过案例分析展示了该方案在实际环境中的应用效果和潜在益处。
|
1天前
|
运维 Kubernetes 持续交付
构建高效自动化运维体系:基于容器技术的持续集成与持续部署(CI/CD)实践
【4月更文挑战第29天】 随着云计算和微服务架构的兴起,自动化运维已成为提升企业IT效率、确保系统稳定性的关键因素。本文旨在探讨如何利用容器技术构建一套高效的自动化运维体系,实现软件开发过程中的持续集成(CI)与持续部署(CD)。文章首先分析了传统运维模式面临的挑战,然后详细介绍了基于Docker和Kubernetes等容器技术的CI/CD流程设计与实施策略,并通过一个实际案例来展示该方案在提高部署频率、降低人力成本及提升系统可靠性方面的显著优势。
|
13天前
|
运维 监控 Java
探索Elasticsearch在Java环境下的全文检索应用实践
【4月更文挑战第17天】本文介绍了在Java环境下使用Elasticsearch实现全文检索的步骤。首先,简述了Elasticsearch的功能和安装配置。接着,通过Maven添加`elasticsearch-rest-high-level-client`依赖,创建`RestHighLevelClient`实例连接Elasticsearch。内容包括:创建/删除索引,插入/查询文档。还探讨了高级全文检索功能、性能优化和故障排查技巧。通过Elasticsearch,开发者能高效处理非结构化数据,提升应用程序价值。
|
15天前
|
运维 Kubernetes Devops
构建高效自动化运维体系:DevOps与容器技术融合实践
【4月更文挑战第15天】 在当今快速发展的信息技术时代,传统的IT运维模式已难以满足业务敏捷性的需求。本文旨在探讨如何通过整合DevOps理念和容器技术来构建一个高效的自动化运维体系。文章将详细阐述DevOps的核心原则、容器技术的基础知识,以及两者结合的优势。此外,文中还将分享一系列实践经验,包括持续集成/持续部署(CI/CD)流程的搭建、微服务架构的应用,以及监控和日志管理策略的优化,以期帮助企业实现快速、可靠且安全的软件交付过程。
|
17天前
|
运维 Devops 持续交付
构建高效稳定的云基础设施:DevOps与容器化技术融合实践
【4月更文挑战第13天】 在当今快速迭代和持续部署的软件开发环境中,传统的IT运维模式已难以满足业务发展的需求。本文聚焦于如何通过融合DevOps理念与容器化技术,构建一个高效、稳定且易于管理的云基础设施。文章将探讨持续集成/持续交付(CI/CD)流程的优化、容器化技术的最佳实践、以及微服务架构下的应用管理,以期为企业提供一种改进运维效率、加速产品上市时间,同时保障系统稳定性的解决方案。
|
28天前
|
运维 Kubernetes 测试技术
构建高效自动化运维系统:基于容器技术的持续集成与持续部署(CI/CD)实践
【4月更文挑战第2天】 在快速发展的信息技术时代,自动化运维已成为提升企业IT效率、保障系统稳定性的关键手段。本文以容器技术为核心,探讨了如何构建一个高效的自动化运维系统,实现软件的持续集成(Continuous Integration, CI)和持续部署(Continuous Deployment, CD)。通过深入分析Docker容器及Kubernetes集群管理工具的运用,提出了一套切实可行的CI/CD流程方案,旨在帮助读者理解并实践自动化运维的最佳实践,进而推动企业运维管理的现代化进程。
|
28天前
|
运维 Kubernetes Devops
构建高效自动化运维体系:基于容器技术的DevOps实践
【4月更文挑战第2天】随着云计算和微服务架构的兴起,传统的IT运维模式正逐渐向DevOps转型。本文将探讨如何通过容器技术实现自动化运维,提高系统部署效率与稳定性。首先,分析了当前企业面临的运维挑战及DevOps的优势;其次,详细介绍了容器技术的核心组件以及在自动化运维中的应用;最后,结合实际案例,展示了基于容器的DevOps流程设计与实施步骤,旨在为企业构建高效、可靠的自动化运维体系提供参考。
15 2
|
2月前
|
运维 Kubernetes Devops
构建高效稳定的云基础设施:DevOps与容器化技术融合实践
随着企业数字化转型的不断深入,传统的IT运维模式已经难以满足快速迭代和持续交付的需求。本文将探讨如何通过结合DevOps文化与容器化技术,构建一个既高效又稳定的云基础设施。文章首先概述了DevOps的核心理念及其在现代运维中的重要性,然后详细介绍了容器化技术,特别是Docker和Kubernetes在实现微服务架构中的应用。最后,文中通过案例分析展示了这一融合实践如何在真实环境中提升运维效率和系统稳定性。
21 7