带你读《Elastic Stack 实战手册》之15:——3.4.1.8. ECK 安装(17)

简介: 带你读《Elastic Stack 实战手册》之15:——3.4.1.8. ECK 安装(17)

《Elastic Stack 实战手册》——三、产品能力——3.4.入门篇——3.4.1.Elastic Stack 安装部署——3.4.1.8. ECK 安装(16) https://developer.aliyun.com/article/1231264


部署 Elasticsearch

 

定义 Elasticsearch 资源文件,通过 annotations 定义自动缩放策略:

 

l name:用于标识自动缩放策略的名称。

l roles:此策略适用的节点角色,Elasticsearch 资源中必须至少存在一个具有完全相同角色集的 NodeSet。

l resources 定义计算资源使用量的上限和下限:

○ nodeCount:节点数量的上限和下限。

○ cpu:每个节点使用 cpu 的上限和下限。

○ memory:每个节点使用内存的上限和下限。

storage:每个节点存储容量的上限和下限。

当节点使用资源达到阈值时,ECK 首先会尝试为节点增加资源(CPU、内存、存储),当每个节点都达到单个节点使用资源的限制时,ECK 开始横向扩容节点数量。横向扩容是最快速的,因此建议将 CPU、内存、存储资源的 min 和 max 的值设置成一样。


apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
metadata:
  name: autoscaling-elasticsearch
  annotations:
    elasticsearch.alpha.elastic.co/autoscaling-spec: |
      {
          "pollingPeriod": "10s",
          "policies": [{
              "name": "di",
              "roles": ["data", "ingest" , "transform"],
              "deciders": {
                "proactive_storage": {
                    "forecast_window": "5m"
                }
              },
              "resources": {
                  "nodeCount": { "min": 3, "max": 8 },
                  "cpu": { "min": 2, "max": 2 },
                  "memory": { "min": "2Gi", "max": "2Gi" },
                  "storage": { "min": "20Gi", "max": "20Gi" }
              }
          }]
      }
spec:
  version: 7.14.0
  nodeSets:
- name: master
      count: 3
      config:
        node:
          roles: [ "master" ]
      volumeClaimTemplates:
      - metadata:
          name: elasticsearch-data
        spec:
          accessModes:
          - ReadWriteOnce
          resources:
            requests:
              storage: 20Gi
          storageClassName: alicloud-disk-efficiency
    - name: di
      config:
        node:
          roles: [ "data", "ingest", "transform" ]
      volumeClaimTemplates:
      - metadata:
          name: elasticsearch-data
        spec:
          accessModes:
          - ReadWriteOnce
          resources:
            requests:
              storage: 20Gi
          storageClassName: alicloud-disk-efficiency

使用以下命令应用 Elasticsearch 资源文件:


kubectl apply -f elasticsearch.yaml

查看创建的 Elasticsearch 节点,刚开始节点数量是指定的最小值,当节点使用资源达到阈值时,才会横向扩容。

> kubectl get pod
NAME                                    READY   STATUS    RESTARTS   AGE
autoscaling-elasticsearch-es-di-0       1/1     Running   0          11m
autoscaling-elasticsearch-es-di-1       1/1     Running   0          11m
autoscaling-elasticsearch-es-di-2       1/1     Running   0          11m
autoscaling-elasticsearch-es-master-0   1/1     Running   0          11m
autoscaling-elasticsearch-es-master-1   1/1     Running   0          11m
autoscaling-elasticsearch-es-master-2   1/1     Running   0          11m

清理现场

kubectl delete -f autoscaling/


《Elastic Stack 实战手册》——三、产品能力——3.4.入门篇——3.4.1.Elastic Stack 安装部署——3.4.1.8. ECK 安装(18) https://developer.aliyun.com/article/1231262

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
5月前
|
存储 人工智能 JSON
AI 成为主流负载后,数据基础设施将如何演进?|Apache Doris 2026 Roadmap
Scale Intelligence, Accelerate Insight,不仅是年度主题,也定义了 Doris 在 AI 时代的演进方向。
537 0
|
7月前
|
数据可视化 JavaScript 搜索推荐
一款可提高后台系统开发效率的低代码平台
本文探讨低代码平台如何破解ERP/OA/CRM等后台系统开发“成本高、周期长、响应慢”难题。通过可视化页面搭建、自定义组件、保存即发布、Vue源码导出四大核心能力,将常规需求交付从3–5天压缩至小时级,兼顾效率与灵活,助力企业高效推进数字化转型。
|
存储 机器学习/深度学习 人工智能
Elasticsearch:使用阿里云 AI 服务进行向量化和重新排名
本文介绍了如何将阿里云 AI 功能与 Elasticsearch 集成,以提高语义搜索的相关性。
1003 0
|
数据可视化 安全 数据挖掘
基于 Kibana Dashboard 创建仪表板,可视化匹配航班信息
在今天的练习中,我们将使用 Kibana 自带的数据来进行一些可视化的展示。希望对刚开始使用 Kibana 的用户有所帮助
5386 1
基于 Kibana Dashboard 创建仪表板,可视化匹配航班信息
|
Prometheus Kubernetes 负载均衡
带你读《Elastic Stack 实战手册》之15:——3.4.1.8. ECK 安装(1)
带你读《Elastic Stack 实战手册》之15:——3.4.1.8. ECK 安装(1)
690 0
|
敏捷开发 安全 小程序
3大能力升级,云效+钉钉,让研发协作更「敏捷」
你的团队是否面临如下问题:没有敏捷经验,不知道如何落地敏捷或者敏捷实施不规范?研发交付过程信息更新不及时,无法及时跟进交付结果?员工入职离职,多套账号权限管理难?缺乏交付度量数据,不知道如何提升交付效能?本次产品产品升级,将是云效在敏捷研发上的最新产品进展和最佳实践。
3120 4
3大能力升级,云效+钉钉,让研发协作更「敏捷」
第二届阿里巴巴全球数学竞赛试题(预选赛第一轮)
第二届阿里巴巴全球数学竞赛,完整试题来啦!
34124 0
第二届阿里巴巴全球数学竞赛试题(预选赛第一轮)
|
开发者
阿里云开发者社区知识产权保护暨版权授权与侵权投诉指引
阿里云开发者社区知识产权保护暨版权授权与侵权投诉指引
1133583 7
|
Kubernetes API 容器
带你读《Elastic Stack 实战手册》之15:——3.4.1.8. ECK 安装(2)
带你读《Elastic Stack 实战手册》之15:——3.4.1.8. ECK 安装(2)
368 0
|
存储 数据可视化 数据安全/隐私保护
带你读《Elastic Stack 实战手册》之15:——3.4.1.8. ECK 安装(4)
带你读《Elastic Stack 实战手册》之15:——3.4.1.8. ECK 安装(4)
520 0

热门文章

最新文章