ElasticSearch容器化从0到1实践(一)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 通过kubernetes集群聚合多个Elasticsearch集群碎片资源,提高运维效率。

背景

通过kubernetes集群聚合多个Elasticsearch集群碎片资源,提高运维效率。

介绍

Kubernetes Operator 是一种特定的应用控制器,通过 CRD(Custom Resource Definitions,自定义资源定义)扩展 Kubernetes API 的功能,可以用它来创建、配置和管理特定的有状态应用,而不需要直接去使用 Kubernetes 中最原始的一些资源对象。

Elastic Cloud on Kubernetes(ECK) 是其中的一种 Kubernetes Operator,方便我们管理 Elastic Stack 家族中的各种组件,例如 Elasticsearch,Kibana,APM,Beats 等等。比如只需要定义一个 Elasticsearch 类型的 CRD 对象,ECK 就可以帮助我们快速搭建出一套 Elasticsearch 集群。

版本要求

以下为官方给出的版本要求列表,按照实际业务进行评估,确定具体的实施版本和实施方案。

  • Kubernetes 1.24-1.27
  • OpenShift 4.8-4.12
  • Google Kubernetes Engine (GKE), Azure Kubernetes Service (AKS), and Amazon Elastic Kubernetes Service (EKS)
  • Helm: 3.2.0+
  • Elasticsearch, Kibana, APM Server: 6.8+, 7.1+, 8+
  • Enterprise Search: 7.7+, 8+
  • Beats: 7.0+, 8+
  • Elastic Agent: 7.10+ (standalone), 7.14+ (Fleet), 8+
  • Elastic Maps Server: 7.11+, 8+
  • Logstash: 8.7+

实施

现有环境使用方式较为单一,存在2种版本的Elasticsearch集群,其中只有大约一半的7.0+版本符合迁移要求。

现有Kubernetes集群版本为1.24以下,在实际测试和使用中 ECK 2.8版本也是可以的,为了避免误导,建议按照官方建议选择ECK版本。

kubernets与ECK版本兼容参考下表。

Release Date Kubernetes Compatible Versions OpenShift Compatible Versions VMware Tanzu Kubernetes Grid Versions
Elastic Cloud on Kubernetes 1.0.x 2020/1/15 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.1.x 2020/4/28 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.2.x 2020/8/18 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.3.x 2020/11/19 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.4.x 2021/1/26 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.5.x 2021/3/23 1.11-1.21 3.11, 4.1-4.8
Elastic Cloud on Kubernetes 1.6.x 2021/5/25 1.16-1.21 3.11, 4.3-4.8
Elastic Cloud on Kubernetes 1.7.x 2021/8/3 1.17-1.22 3.11, 4.3-4.8
Elastic Cloud on Kubernetes 1.8.x 2021/9/21 1.18-1.22 3.11, 4.4-4.8
Elastic Cloud on Kubernetes 1.9.x 2021/12/7 1.18-1.22 3.11, 4.5-4.9 1.4
Elastic Cloud on Kubernetes 2.0.x 2022/2/8 1.19-1.23 4.6-4.10 1.4
Elastic Cloud on Kubernetes 2.1.x 2022/3/1 1.19-1.23 4.6-4.10 1.4
Elastic Cloud on Kubernetes 2.2.x 2022/4/26 1.19-1.23 4.6-4.10 1.4
Elastic Cloud on Kubernetes 2.3.x 2022/6/28 1.20-1.24 4.6-4.10 1.5.4
Elastic Cloud on Kubernetes 2.4.x 2022/8/24 1.20-1.24 4.6-4.10 1.5.4
Elastic Cloud on Kubernetes 2.5.x 2022/11/1 1.21-1.25 4.7-4.11 1.5.4
Elastic Cloud on Kubernetes 2.6.x 2022/12/13 1.21-1.25 4.7-4.11 1.5.4
Elastic Cloud on Kubernetes 2.7.x 2023/3/30 1.22-1.26 4.8-4.12 1.5.4
Elastic Cloud on Kubernetes 2.8.x 2023/5/23 1.24-1.27 4.8-4.12 1.5.4
Elastic Cloud on Kubernetes 2.9.x 2023/7/25 1.24-1.27 4.9-4.13 1.5.4

参考文档

支持的版本:https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s_supported_versions.html

支持一览表:https://www.elastic.co/cn/support/matrix#matrix_kubernetes

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
3月前
|
Kubernetes Cloud Native Docker
云原生时代的容器化实践:Docker和Kubernetes入门
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术成为企业提升敏捷性和效率的关键。本篇文章将引导读者了解如何利用Docker进行容器化打包及部署,以及Kubernetes集群管理的基础操作,帮助初学者快速入门云原生的世界。通过实际案例分析,我们将深入探讨这些技术在现代IT架构中的应用与影响。
167 2
|
26天前
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
|
2月前
|
数据采集 人工智能 运维
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
本文介绍了阿里云 Elasticsearch 推出的创新型 AI 搜索方案
205 3
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
|
2月前
|
人工智能 运维 监控
阿里云ACK容器服务生产级可观测体系建设实践
本文整理自2024云栖大会冯诗淳(花名:行疾)的演讲,介绍了阿里云容器服务团队在生产级可观测体系建设方面的实践。冯诗淳详细阐述了容器化架构带来的挑战及解决方案,强调了可观测性对于构建稳健运维体系的重要性。文中提到,阿里云作为亚洲唯一蝉联全球领导者的容器管理平台,其可观测能力在多项关键评测中表现优异,支持AI、容器网络、存储等多个场景的高级容器可观测能力。此外,还介绍了阿里云容器服务在多云管理、成本优化等方面的最新进展,以及即将推出的ACK AI助手2.0,旨在通过智能引擎和专家诊断经验,简化异常数据查找,缩短故障响应时间。
阿里云ACK容器服务生产级可观测体系建设实践
|
1月前
|
数据采集 人工智能 运维
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
本文介绍了阿里云 Elasticsearch 推出的创新型 AI 搜索方案。
210 5
|
2月前
|
存储 人工智能 调度
容器服务:智算时代云原生操作系统及月之暗面Kimi、深势科技实践分享
容器技术已经发展成为云计算操作系统的关键组成部分,向下高效调度多样化异构算力,向上提供统一编程接口,支持多样化工作负载。阿里云容器服务在2024年巴黎奥运会中提供了稳定高效的云上支持,实现了子弹时间特效等创新应用。此外,容器技术还带来了弹性、普惠的计算能力升级,如每分钟创建1万Pod和秒级CPU资源热变配,以及针对大数据与AI应用的弹性临时盘和跨可用区云盘等高性能存储解决方案。智能运维方面,推出了即时弹性节点池、智能应用弹性策略和可信赖集群托管运维等功能,进一步简化了集群管理和优化了资源利用率。
|
2月前
|
运维 Kubernetes 调度
阿里云容器服务 ACK One 分布式云容器企业落地实践
阿里云容器服务ACK提供强大的产品能力,支持弹性、调度、可观测、成本治理和安全合规。针对拥有IDC或三方资源的企业,ACK One分布式云容器平台能够有效解决资源管理、多云多集群管理及边缘计算等挑战,实现云上云下统一管理,提升业务效率与稳定性。
|
2月前
|
人工智能 Cloud Native 调度
阿里云容器服务在AI智算场景的创新与实践
本文源自张凯在2024云栖大会的演讲,介绍了阿里云容器服务在AI智算领域的创新与实践。从2018年推出首个开源GPU容器共享调度方案至今,阿里云容器服务不断推进云原生AI的发展,包括增强GPU可观测性、实现多集群跨地域统一调度、优化大模型推理引擎部署、提供灵活的弹性伸缩策略等,旨在为客户提供高效、低成本的云原生AI解决方案。
|
3月前
|
安全 持续交付 Docker
深入理解并实践容器化技术——Docker 深度解析
深入理解并实践容器化技术——Docker 深度解析
109 2
|
3月前
|
Prometheus 监控 持续交付
深入理解Docker容器化技术:从基础到实践
深入理解Docker容器化技术:从基础到实践

热门文章

最新文章