ElasticSearch容器化从0到1实践(一)

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 通过kubernetes集群聚合多个Elasticsearch集群碎片资源,提高运维效率。

背景

通过kubernetes集群聚合多个Elasticsearch集群碎片资源,提高运维效率。

介绍

Kubernetes Operator 是一种特定的应用控制器,通过 CRD(Custom Resource Definitions,自定义资源定义)扩展 Kubernetes API 的功能,可以用它来创建、配置和管理特定的有状态应用,而不需要直接去使用 Kubernetes 中最原始的一些资源对象。

Elastic Cloud on Kubernetes(ECK) 是其中的一种 Kubernetes Operator,方便我们管理 Elastic Stack 家族中的各种组件,例如 Elasticsearch,Kibana,APM,Beats 等等。比如只需要定义一个 Elasticsearch 类型的 CRD 对象,ECK 就可以帮助我们快速搭建出一套 Elasticsearch 集群。

版本要求

以下为官方给出的版本要求列表,按照实际业务进行评估,确定具体的实施版本和实施方案。

  • Kubernetes 1.24-1.27
  • OpenShift 4.8-4.12
  • Google Kubernetes Engine (GKE), Azure Kubernetes Service (AKS), and Amazon Elastic Kubernetes Service (EKS)
  • Helm: 3.2.0+
  • Elasticsearch, Kibana, APM Server: 6.8+, 7.1+, 8+
  • Enterprise Search: 7.7+, 8+
  • Beats: 7.0+, 8+
  • Elastic Agent: 7.10+ (standalone), 7.14+ (Fleet), 8+
  • Elastic Maps Server: 7.11+, 8+
  • Logstash: 8.7+

实施

现有环境使用方式较为单一,存在2种版本的Elasticsearch集群,其中只有大约一半的7.0+版本符合迁移要求。

现有Kubernetes集群版本为1.24以下,在实际测试和使用中 ECK 2.8版本也是可以的,为了避免误导,建议按照官方建议选择ECK版本。

kubernets与ECK版本兼容参考下表。

Release Date Kubernetes Compatible Versions OpenShift Compatible Versions VMware Tanzu Kubernetes Grid Versions
Elastic Cloud on Kubernetes 1.0.x 2020/1/15 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.1.x 2020/4/28 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.2.x 2020/8/18 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.3.x 2020/11/19 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.4.x 2021/1/26 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.5.x 2021/3/23 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.6.x 2021/5/25 1.16-1.21 3.11, 4.3-4.8
Elastic Cloud on Kubernetes 1.7.x 2021/8/3 1.17-1.22 3.11, 4.3-4.8
Elastic Cloud on Kubernetes 1.8.x 2021/9/21 1.18-1.22 3.11, 4.4-4.8
Elastic Cloud on Kubernetes 1.9.x 2021/12/7 1.18-1.22 3.11, 4.5-4.9 1.4
Elastic Cloud on Kubernetes 2.0.x 2022/2/8 1.19-1.23 4.6-4.10 1.4
Elastic Cloud on Kubernetes 2.1.x 2022/3/1 1.19-1.23 4.6-4.10 1.4
Elastic Cloud on Kubernetes 2.2.x 2022/4/26 1.19-1.23 4.6-4.10 1.4
Elastic Cloud on Kubernetes 2.3.x 2022/6/28 1.20-1.24 4.6-4.10 1.5.4
Elastic Cloud on Kubernetes 2.4.x 2022/8/24 1.20-1.24 4.6-4.10 1.5.4
Elastic Cloud on Kubernetes 2.5.x 2022/11/1 1.21-1.25 4.7-4.11 1.5.4
Elastic Cloud on Kubernetes 2.6.x 2022/12/13 1.21-1.25 4.7-4.11 1.5.4
Elastic Cloud on Kubernetes 2.7.x 2023/3/30 1.22-1.26 4.8-4.12 1.5.4
Elastic Cloud on Kubernetes 2.8.x 2023/5/23 1.24-1.27 4.8-4.12 1.5.4
Elastic Cloud on Kubernetes 2.9.x 2023/7/25 1.24-1.27 4.9-4.13 1.5.4

参考文档

支持的版本:https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s_supported_versions.html

支持一览表:https://www.elastic.co/cn/support/matrix#matrix_kubernetes

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
Kubernetes Cloud Native Docker
云原生时代的容器化实践:Docker和Kubernetes入门
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术成为企业提升敏捷性和效率的关键。本篇文章将引导读者了解如何利用Docker进行容器化打包及部署,以及Kubernetes集群管理的基础操作,帮助初学者快速入门云原生的世界。通过实际案例分析,我们将深入探讨这些技术在现代IT架构中的应用与影响。
516 2
|
4月前
|
Cloud Native 中间件 调度
云原生信息提取系统:容器化流程与CI/CD集成实践
本文介绍如何通过工程化手段解决数据提取任务中的稳定性与部署难题。结合 Scrapy、Docker、代理中间件与 CI/CD 工具,构建可自动运行、持续迭代的云原生信息提取系统,实现结构化数据采集与标准化交付。
159 1
云原生信息提取系统:容器化流程与CI/CD集成实践
|
8月前
|
Ubuntu 关系型数据库 MySQL
容器技术实践:在Ubuntu上使用Docker安装MySQL的步骤。
通过以上的操作,你已经步入了Docker和MySQL的世界,享受了容器技术给你带来的便利。这个旅程中你可能会遇到各种挑战,但是只要你沿着我们划定的路线行进,你就一定可以达到目的地。这就是Ubuntu、Docker和MySQL的灵魂所在,它们为你开辟了一条通往新探索的道路,带你亲身感受到了技术的力量。欢迎在Ubuntu的广阔大海中探索,用Docker技术引领你的航行,随时准备感受新技术带来的震撼和乐趣。
352 16
|
10月前
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
513 3
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
|
9月前
|
监控 Kubernetes Cloud Native
基于阿里云容器服务Kubernetes版(ACK)的微服务架构设计与实践
本文介绍了如何基于阿里云容器服务Kubernetes版(ACK)设计和实现微服务架构。首先概述了微服务架构的优势与挑战,如模块化、可扩展性及技术多样性。接着详细描述了ACK的核心功能,包括集群管理、应用管理、网络与安全、监控与日志等。在设计基于ACK的微服务架构时,需考虑服务拆分、通信、发现与负载均衡、配置管理、监控与日志以及CI/CD等方面。通过一个电商应用案例,展示了用户服务、商品服务、订单服务和支付服务的具体部署步骤。最后总结了ACK为微服务架构提供的强大支持,帮助应对各种挑战,构建高效可靠的云原生应用。
|
11月前
|
数据采集 人工智能 运维
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
本文介绍了阿里云 Elasticsearch 推出的创新型 AI 搜索方案
623 3
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
|
11月前
|
人工智能 运维 监控
阿里云ACK容器服务生产级可观测体系建设实践
本文整理自2024云栖大会冯诗淳(花名:行疾)的演讲,介绍了阿里云容器服务团队在生产级可观测体系建设方面的实践。冯诗淳详细阐述了容器化架构带来的挑战及解决方案,强调了可观测性对于构建稳健运维体系的重要性。文中提到,阿里云作为亚洲唯一蝉联全球领导者的容器管理平台,其可观测能力在多项关键评测中表现优异,支持AI、容器网络、存储等多个场景的高级容器可观测能力。此外,还介绍了阿里云容器服务在多云管理、成本优化等方面的最新进展,以及即将推出的ACK AI助手2.0,旨在通过智能引擎和专家诊断经验,简化异常数据查找,缩短故障响应时间。
阿里云ACK容器服务生产级可观测体系建设实践
|
9月前
|
监控 Cloud Native Java
基于阿里云容器服务(ACK)的微服务架构设计与实践
本文介绍如何利用阿里云容器服务Kubernetes版(ACK)构建高可用、可扩展的微服务架构。通过电商平台案例,展示基于Java(Spring Boot)、Docker、Nacos等技术的开发、容器化、部署流程,涵盖服务注册、API网关、监控日志及性能优化实践,帮助企业实现云原生转型。
|
11月前
|
存储 人工智能 调度
容器服务:智算时代云原生操作系统及月之暗面Kimi、深势科技实践分享
容器技术已经发展成为云计算操作系统的关键组成部分,向下高效调度多样化异构算力,向上提供统一编程接口,支持多样化工作负载。阿里云容器服务在2024年巴黎奥运会中提供了稳定高效的云上支持,实现了子弹时间特效等创新应用。此外,容器技术还带来了弹性、普惠的计算能力升级,如每分钟创建1万Pod和秒级CPU资源热变配,以及针对大数据与AI应用的弹性临时盘和跨可用区云盘等高性能存储解决方案。智能运维方面,推出了即时弹性节点池、智能应用弹性策略和可信赖集群托管运维等功能,进一步简化了集群管理和优化了资源利用率。
|
10月前
|
数据采集 人工智能 运维
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
本文介绍了阿里云 Elasticsearch 推出的创新型 AI 搜索方案。
802 5

热门文章

最新文章