带你读《Elastic Stack 实战手册》之15:——3.4.1.8. ECK 安装(17)

简介: 带你读《Elastic Stack 实战手册》之15:——3.4.1.8. ECK 安装(17)

《Elastic Stack 实战手册》——三、产品能力——3.4.入门篇——3.4.1.Elastic Stack 安装部署——3.4.1.8. ECK 安装(16) https://developer.aliyun.com/article/1231264


部署 Elasticsearch

 

定义 Elasticsearch 资源文件,通过 annotations 定义自动缩放策略:

 

l name:用于标识自动缩放策略的名称。

l roles:此策略适用的节点角色,Elasticsearch 资源中必须至少存在一个具有完全相同角色集的 NodeSet。

l resources 定义计算资源使用量的上限和下限:

nodeCount:节点数量的上限和下限。

cpu:每个节点使用 cpu 的上限和下限。

memory:每个节点使用内存的上限和下限。

storage:每个节点存储容量的上限和下限。

当节点使用资源达到阈值时,ECK 首先会尝试为节点增加资源(CPU、内存、存储),当每个节点都达到单个节点使用资源的限制时,ECK 开始横向扩容节点数量。横向扩容是最快速的,因此建议将 CPU、内存、存储资源的 min 和 max 的值设置成一样。


apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
metadata:
  name: autoscaling-elasticsearch
  annotations:
    elasticsearch.alpha.elastic.co/autoscaling-spec: |
      {
          "pollingPeriod": "10s",
          "policies": [{
              "name": "di",
              "roles": ["data", "ingest" , "transform"],
              "deciders": {
                "proactive_storage": {
                    "forecast_window": "5m"
                }
              },
              "resources": {
                  "nodeCount": { "min": 3, "max": 8 },
                  "cpu": { "min": 2, "max": 2 },
                  "memory": { "min": "2Gi", "max": "2Gi" },
                  "storage": { "min": "20Gi", "max": "20Gi" }
              }
          }]
      }
spec:
  version: 7.14.0
  nodeSets:
- name: master
      count: 3
      config:
        node:
          roles: [ "master" ]
      volumeClaimTemplates:
      - metadata:
          name: elasticsearch-data
        spec:
          accessModes:
          - ReadWriteOnce
          resources:
            requests:
              storage: 20Gi
          storageClassName: alicloud-disk-efficiency
    - name: di
      config:
        node:
          roles: [ "data", "ingest", "transform" ]
      volumeClaimTemplates:
      - metadata:
          name: elasticsearch-data
        spec:
          accessModes:
          - ReadWriteOnce
          resources:
            requests:
              storage: 20Gi
          storageClassName: alicloud-disk-efficiency

使用以下命令应用 Elasticsearch 资源文件:


kubectl apply -f elasticsearch.yaml

查看创建的 Elasticsearch 节点,刚开始节点数量是指定的最小值,当节点使用资源达到阈值时,才会横向扩容。

> kubectl get pod
NAME                                    READY   STATUS    RESTARTS   AGE
autoscaling-elasticsearch-es-di-0       1/1     Running   0          11m
autoscaling-elasticsearch-es-di-1       1/1     Running   0          11m
autoscaling-elasticsearch-es-di-2       1/1     Running   0          11m
autoscaling-elasticsearch-es-master-0   1/1     Running   0          11m
autoscaling-elasticsearch-es-master-1   1/1     Running   0          11m
autoscaling-elasticsearch-es-master-2   1/1     Running   0          11m

清理现场

kubectl delete -f autoscaling/


《Elastic Stack 实战手册》——三、产品能力——3.4.入门篇——3.4.1.Elastic Stack 安装部署——3.4.1.8. ECK 安装(18) https://developer.aliyun.com/article/1231262

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
运维 监控 Cloud Native
|
7月前
|
存储 监控 Cloud Native
云原生日志监控体系怎么做才不崩?一篇给你讲透采集、存储、分析、告警的最佳实践
云原生日志监控体系怎么做才不崩?一篇给你讲透采集、存储、分析、告警的最佳实践
565 16
|
4月前
|
数据可视化 JavaScript 搜索推荐
一款可提高后台系统开发效率的低代码平台
本文探讨低代码平台如何破解ERP/OA/CRM等后台系统开发“成本高、周期长、响应慢”难题。通过可视化页面搭建、自定义组件、保存即发布、Vue源码导出四大核心能力,将常规需求交付从3–5天压缩至小时级,兼顾效率与灵活,助力企业高效推进数字化转型。
|
API 开发者 索引
Python中的省略号(Ellipsis)赋值方式
在Python中,省略号(`...`)是一种特殊对象,称为Ellipsis,虽不常用但在特定场景下非常实用,如函数占位、未实现方法示例及NumPy数组处理。本文通过示例介绍`a = ...`的用法。省略号类似于`None`,可用作代码结构的占位符,保持代码完整性和可读性,同时在API设计中标识待实现的方法。特别是在NumPy中,省略号用于表示多维数组的剩余维度,简化数组操作,提高代码灵活性和可读性。掌握这一技巧有助于提升Python编程能力。
593 1
|
Java 关系型数据库 MySQL
分布式系列教程(18) -分布式配置中心Apollo安装与详解
分布式系列教程(18) -分布式配置中心Apollo安装与详解
1859 0
|
监控
揭秘:为何多年经验的网工还对光模块的光衰正常范围一知半解?这个秘密可能彻底改变你的网络优化策略!
【8月更文挑战第19天】在信息化时代,光纤通信至关重要,光模块作为其核心组件,其性能直接影响数据传输质量。光衰,即光信号在光纤中传输时的功率损失,是评估光模块性能的关键指标。本文将阐述光衰的基本概念、测量方法及对网络性能的影响,并提供光衰正常范围的标准,帮助网络工程师更好地理解与应用这一重要知识点,确保网络稳定可靠。
4081 0
|
Ubuntu Shell Docker
GPU_nvidia-container-toolkit安装和配置
GPU_nvidia-container-toolkit安装和配置
4895 1
|
Kubernetes API 索引
带你读《Elastic Stack 实战手册》之15:——3.4.1.8. ECK 安装(16)
带你读《Elastic Stack 实战手册》之15:——3.4.1.8. ECK 安装(16)
928 0
|
存储 缓存 网络安全
OpenLDAP集成sssd同步用户并集成SSH登录
OpenLDAP集成sssd同步用户并集成SSH登录
835 2
|
存储 编解码 Linux
Linux 利用 qemu-system-aarch64 实现 x86 机器安装 arm64 的操作系统 1
Linux 利用 qemu-system-aarch64 实现 x86 机器安装 arm64 的操作系统
2946 0

热门文章

最新文章