ElasticSearch容器化从0到1实践(一)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 通过kubernetes集群聚合多个Elasticsearch集群碎片资源,提高运维效率。

背景

通过kubernetes集群聚合多个Elasticsearch集群碎片资源,提高运维效率。

介绍

Kubernetes Operator 是一种特定的应用控制器,通过 CRD(Custom Resource Definitions,自定义资源定义)扩展 Kubernetes API 的功能,可以用它来创建、配置和管理特定的有状态应用,而不需要直接去使用 Kubernetes 中最原始的一些资源对象。

Elastic Cloud on Kubernetes(ECK) 是其中的一种 Kubernetes Operator,方便我们管理 Elastic Stack 家族中的各种组件,例如 Elasticsearch,Kibana,APM,Beats 等等。比如只需要定义一个 Elasticsearch 类型的 CRD 对象,ECK 就可以帮助我们快速搭建出一套 Elasticsearch 集群。

版本要求

以下为官方给出的版本要求列表,按照实际业务进行评估,确定具体的实施版本和实施方案。

  • Kubernetes 1.24-1.27
  • OpenShift 4.8-4.12
  • Google Kubernetes Engine (GKE), Azure Kubernetes Service (AKS), and Amazon Elastic Kubernetes Service (EKS)
  • Helm: 3.2.0+
  • Elasticsearch, Kibana, APM Server: 6.8+, 7.1+, 8+
  • Enterprise Search: 7.7+, 8+
  • Beats: 7.0+, 8+
  • Elastic Agent: 7.10+ (standalone), 7.14+ (Fleet), 8+
  • Elastic Maps Server: 7.11+, 8+
  • Logstash: 8.7+

实施

现有环境使用方式较为单一,存在2种版本的Elasticsearch集群,其中只有大约一半的7.0+版本符合迁移要求。

现有Kubernetes集群版本为1.24以下,在实际测试和使用中 ECK 2.8版本也是可以的,为了避免误导,建议按照官方建议选择ECK版本。

kubernets与ECK版本兼容参考下表。

Release Date Kubernetes Compatible Versions OpenShift Compatible Versions VMware Tanzu Kubernetes Grid Versions
Elastic Cloud on Kubernetes 1.0.x 2020/1/15 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.1.x 2020/4/28 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.2.x 2020/8/18 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.3.x 2020/11/19 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.4.x 2021/1/26 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.5.x 2021/3/23 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.6.x 2021/5/25 1.16-1.21 3.11, 4.3-4.8
Elastic Cloud on Kubernetes 1.7.x 2021/8/3 1.17-1.22 3.11, 4.3-4.8
Elastic Cloud on Kubernetes 1.8.x 2021/9/21 1.18-1.22 3.11, 4.4-4.8
Elastic Cloud on Kubernetes 1.9.x 2021/12/7 1.18-1.22 3.11, 4.5-4.9 1.4
Elastic Cloud on Kubernetes 2.0.x 2022/2/8 1.19-1.23 4.6-4.10 1.4
Elastic Cloud on Kubernetes 2.1.x 2022/3/1 1.19-1.23 4.6-4.10 1.4
Elastic Cloud on Kubernetes 2.2.x 2022/4/26 1.19-1.23 4.6-4.10 1.4
Elastic Cloud on Kubernetes 2.3.x 2022/6/28 1.20-1.24 4.6-4.10 1.5.4
Elastic Cloud on Kubernetes 2.4.x 2022/8/24 1.20-1.24 4.6-4.10 1.5.4
Elastic Cloud on Kubernetes 2.5.x 2022/11/1 1.21-1.25 4.7-4.11 1.5.4
Elastic Cloud on Kubernetes 2.6.x 2022/12/13 1.21-1.25 4.7-4.11 1.5.4
Elastic Cloud on Kubernetes 2.7.x 2023/3/30 1.22-1.26 4.8-4.12 1.5.4
Elastic Cloud on Kubernetes 2.8.x 2023/5/23 1.24-1.27 4.8-4.12 1.5.4
Elastic Cloud on Kubernetes 2.9.x 2023/7/25 1.24-1.27 4.9-4.13 1.5.4

参考文档

支持的版本:https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s_supported_versions.html

支持一览表:https://www.elastic.co/cn/support/matrix#matrix_kubernetes

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
4天前
|
运维 Kubernetes 监控
构建高效自动化运维系统:基于容器技术的策略与实践
【4月更文挑战第19天】随着云计算和微服务架构的兴起,传统的运维模式正逐渐向自动化、智能化转型。本文将探讨如何利用容器技术构建一个高效、可靠的自动化运维系统,涵盖系统设计原则、关键技术选型以及实践经验分享。通过引入容器技术,我们可以实现应用的快速部署、弹性伸缩和故障自愈,从而提高运维效率,降低系统维护成本。
|
3天前
|
存储 Kubernetes 监控
使用Kubernetes进行容器编排:技术详解与实践
【5月更文挑战第16天】Kubernetes,简称K8s,是开源容器编排系统,用于自动化部署、扩展和管理容器化应用。核心概念包括节点、Pod(最小部署单元)、服务、标签和副本集。其特点有高可用性、可扩展性、自动化和可移植性。实践使用涉及安装配置集群、编写YAML部署清单、应用部署、监控管理和扩展更新。Kubernetes帮助提升应用的可用性、可扩展性和可移植性。
|
4天前
|
运维 Kubernetes Devops
构建高效稳定的云基础设施:DevOps与容器化技术融合实践
【5月更文挑战第15天】 在当今的云计算时代,企业为了保持竞争力,不断寻求提高软件交付速度和服务质量的方法。本文将探讨如何通过结合DevOps原则和容器化技术来构建一个既高效又稳定的云基础设施。文章首先介绍了DevOps的核心概念及其如何促进开发与运维的协作,然后详细阐述了容器化技术如何优化应用部署和运行环境。最后,通过一个实际案例分析,展示了这种融合策略在提升自动化水平、加快部署速度以及增强系统稳定性方面的具体成效。
|
4天前
|
运维 监控 Kubernetes
构建高效自动化运维体系:基于容器技术的持续集成与持续部署(CI/CD)实践
【5月更文挑战第15天】 随着云计算和微服务架构的普及,传统的IT运维模式面临转型压力。为提高软件交付效率并降低运维成本,本文探讨了利用容器技术实现自动化运维的有效策略。重点分析了在持续集成(CI)和持续部署(CD)流程中,容器如何发挥作用,以及它们如何帮助组织实现敏捷性和弹性。通过具体案例研究,文章展示了容器化技术在自动化测试、部署及扩展中的应用,并讨论了其对系统稳定性和安全性的影响。
|
4天前
|
运维 监控 安全
构建高效自动化运维系统:基于容器技术的持续集成与持续部署(CI/CD)实践
【5月更文挑战第14天】 随着DevOps文化的深入人心,持续集成与持续部署(CI/CD)已成为现代软件工程不可或缺的组成部分。本文将探讨如何利用容器技术,尤其是Docker和Kubernetes,构建一个高效、可扩展的自动化运维系统。通过深入分析CI/CD流程的关键组件,我们将讨论如何整合这些组件以实现代码从提交到生产环境的快速、无缝过渡。文章还将涉及监控、日志管理以及安全性策略等运维考量,为读者提供一个全面的自动化运维解决方案蓝图。
|
4天前
|
运维 监控 Devops
构建高效稳定的云基础设施:DevOps与容器化技术融合实践
【5月更文挑战第14天】 在当今快速迭代的软件发展环境中,传统的IT运维模式已难以满足业务需求。本文探讨了如何通过DevOps文化和容器化技术的融合来构建一个高效且稳定的云基础设施。文中不仅分析了DevOps的核心理念及其对于提升运维效率的影响,还深入剖析了容器化技术如Docker和Kubernetes在自动化部署、弹性伸缩及微服务架构中的关键作用。此外,文章还将分享一系列实践经验,帮助读者理解如何在实际工作中将DevOps与容器化技术有效结合,以支持业务的敏捷性和可靠性。
18 2
|
4天前
|
Kubernetes Cloud Native 持续交付
构建高效稳定的云原生应用:容器编排与微服务治理实践
【5月更文挑战第14天】 随着企业数字化转型的深入,云原生技术以其弹性、敏捷和可扩展的特性成为现代应用开发的首选模式。本文将探讨如何通过容器编排工具如Kubernetes以及微服务架构的有效治理,构建和维护高效且稳定的云原生应用。我们将分析容器化技术的优势,并结合案例讨论在多云环境下实现持续集成、持续部署(CI/CD)的最佳实践,同时解决微服务带来的分布式复杂性问题。通过本文的阐述,读者将获得一套提升系统可靠性和业务连续性的策略框架。
7 0
|
4天前
|
运维 Kubernetes Devops
构建高效稳定的云基础设施:DevOps与容器化技术融合实践
【5月更文挑战第14天】 随着云计算的普及和企业数字化转型的深入,构建一个高效、稳定且能快速响应市场变化的云基础设施已成为众多组织的技术战略核心。本文将探讨如何通过DevOps文化和容器化技术的结合,实现自动化运维流程,提升服务部署效率,确保系统的可扩展性和高可用性。我们还将分析面临的挑战及解决方案,并展示在实际案例中的应用成果。
6 0
|
4天前
|
运维 Kubernetes 持续交付
构建高效自动化运维体系:基于容器技术的持续集成与部署实践
【5月更文挑战第13天】 在现代软件开发周期中,持续集成(CI)和持续部署(CD)已成为提升开发效率、保障产品质量的关键环节。随着云计算和微服务架构的普及,容器技术如Docker和Kubernetes为运维领域带来了革命性的变革。本文旨在探讨如何利用容器技术构建一个高效、可靠的自动化运维体系,实现从代码提交到产品发布的全过程自动化管理。通过深入分析容器化技术的核心原理,结合实际案例,我们将阐述如何优化持续集成流程、确保自动化测试的覆盖率、以及实现无缝的持续部署。
26 2
|
4天前
|
数据采集 数据挖掘 索引
Elasticsearch “指纹”去重机制,你实践中用到了吗?
Elasticsearch “指纹”去重机制,你实践中用到了吗?
27 7

热门文章

最新文章