Kubernetes 中 Elastic Search 集群的通信加密、认证和清理

简介:

外加版本较旧,处于“能用”的状态而已。

而近期的版本中这一情况发生了变化,原来的elasticsearch中新增了一个子目录:

production_cluster,README.md中的介绍是:

A more robust example that follows Elasticsearch best-practices of separating nodes concern is also available.

这个听起来就厉害了,关键字:robuts,best-practice。

顺藤摸瓜找到了作者的 github 地址:https://github.com/pires/

这一集群的特点是:

  1. ES 集群分为 Master/Client/Data 三组,各司其职,各自可以设置自己的资源使用,参数配置等。
  2. 提供了 StatefulSet 形式的数据节点,便于数据持久化的支持。
  3. 采用 Curator 的 CronJob,用于数据的清理。
  4. 自定义的 Elastic Search 镜像。

这一些功能自然是极好的,然而因为 X-Pack 的授权问题,使得两个重要的功能: https 通信和认证落了空,还好发现了一个替代方案:Search Guard,
简单说来,这一方案提供了免费的认证和 https 通信方案,并且提供了更多的商业支持特性。具体能力范围可以参看官网,下面基于 Pries 的 ES 5.6.3 版本,来把假设在 Kubernetes 集群上的 ES 集群进行加固。

环境准备

镜像的构建

Search Guard 的安装分为插件安装、初始化和集群设置三个步骤,Pries 镜像中推荐的插件安装方式仅能完成第一步骤,因此这里做一些定制,将前两个步骤在镜像中直接完成。

这里我们使用 Pries 镜像为基础:

Dockerfile

FROM quay.io/pires/docker-elasticsearch-kubernetes:5.6.3
COPY prepare.sh /tmp
RUN sh /tmp/prepare.sh

prepare.sh

#!/bin/shset -xeexport NODE_NAME="MASTER" # 占位符# 插件安装bin/elasticsearch-plugin install -b com.floragunn:search-guard-5:5.6.3-16# 初始化chmod a+x plugins/search-guard-5/tools/install_demo_configuration.sh
plugins/search-guard-5/tools/install_demo_configuration.sh -y# 清理不必要的配置sed -i 's/network.host.*0$//' config/elasticsearch.yml
sed -i 's/cluster.name.*demo$//' config/elasticsearch.yml

运行 ES 集群

运行集群之前,注意三处需要修改:

  • 镜像名称。
  • 环境变量加入:
- name: "NETWORK_HOST"
 value: "_eth0_"
  • 因为 Search Guard 的加入,Client 的可用检测是失效的,因此需要删除。
kubectl apply -f es-discovery-svc.yaml
kubectl apply -f es-svc.yaml
kubectl apply -f es-master.yaml
kubectl apply -f es-client.yaml
kubectl apply -f es-data.yaml

集群启动之后会处于不可用状态,需要进行 Search guard 设置,使用 kubectl 命令进入任意一个 Master 节点的 Shell,编辑如下文件:

#!/bin/bash/elasticsearch/plugins/search-guard-5/tools/sgadmin.sh \ -cd /elasticsearch/plugins/search-guard-5/sgconfig \
-ks /elasticsearch/config/kirk.jks -arc \
-ts /elasticsearch/config/truststore.jks -nhnv -icl \
-h 172.200.62.7
  • -icl 参数用于禁止证书 CN 的检查。
  • -h 指定该 Pod 的地址。
  • -arc 接受状态为 RED 的集群操作。

这样就完成了 ES 集群的初始化设置,并且开始运行。
这时我们如果访问其服务,例如:https://node.port:9200,如果弹出安全警告,在选择不检查证书之后,会弹出验证窗口,输入预置的:admin/admin 就能看到正常的 API 页面了。

Fluentd

因为我们的 Fluentd 需要访问 https 协议的有认证要求的 ES 集群,所以这里使用 ConfigMap 的方式,为 Fluentd 加载修改好的配置文件。

首先使用 docker cp 命令,或者直接从源码中获取 fluent.conf 和 kubernetes.conf 两个文件。

在 fluent.conf 的 es 配置中加入 ssl_verify false 一行。

–from-file 开关将上文中的两个配置文件加入 ConfigMap。

修改 DaemonSet 的源码:

... # 接入配置 - name: FLUENT_ELASTICSEARCH_SCHEME
 value: "https" - name: FLUENT_ELASTICSEARCH_USER
 value: "admin" - name: FLUENT_ELASTICSEARCH_PASSWORD
 value: "admin" ... # 配置文件

volumeMounts: ... - name: etc
 mountPath: /fluentd/etc
terminationGracePeriodSeconds: 30
volumes: ... - name: etc
configMap:
 name: fluentd-config

这样,Fluentd 就能成功连接 es 并发送日志了。

Kibana

和 Fluentd 的情况类似,也需要创建他的配置文件,并在 kibana.yml 原有内容基础上增加几行:

elasticsearch.username: "admin"
elasticsearch.password: "admin"
elasticsearch.ssl.verificationMode: none

另外在他的 Deployment 描述中,需要将 ES 集群接口地址改为 https 协议。

启用后,打开 Kibana 页面,就会弹出认证要求。

Curator

编辑 es-curator-config.yml,修改:

use_ssl: True
ssl_no_validate: True
http_auth: admin:admin

然后创建 ConfigMap 和 Cronjob 对象即可。

补充

  • sgadmin 及其配置有着相当丰富的功能,例如用户和角色的管理等。
  • 证书也是可以使用合法证书进行替代的,不一定需要使用自这个过程中生成的自签名证书。
相关文章
|
3天前
|
Kubernetes API 索引
|
10天前
|
存储 Kubernetes 监控
Kubernetes 集群的持续性能优化策略
【5月更文挑战第70天】 随着容器化技术的普及,Kubernetes 已成为管理微服务架构的首选平台。然而,在大规模部署和长期运行过程中,集群往往会遭遇性能瓶颈,影响服务的响应速度和稳定性。本文将探讨针对 Kubernetes 集群的性能优化策略,包括资源调度优化、网络延迟降低、存储效率提升及监控与日志分析等方面,旨在为运维工程师提供一套系统化的持续优化方法,确保集群性能的长期稳定。
|
22天前
|
Kubernetes 网络协议 Docker
k8s 开船记-故障公告:自建 k8s 集群在阿里云上大翻船
k8s 开船记-故障公告:自建 k8s 集群在阿里云上大翻船
|
22天前
|
Kubernetes Ubuntu jenkins
超详细实操教程!在现有K8S集群上安装JenkinsX,极速提升CI/CD体验!
超详细实操教程!在现有K8S集群上安装JenkinsX,极速提升CI/CD体验!
|
22天前
|
Kubernetes 应用服务中间件 nginx
K8s高可用集群二进制部署-V1.20
2.4 部署Etcd集群 以下在节点1上操作,为简化操作,待会将节点1生成的所有文件拷贝到节点2和节点3. 1. 创建工作目录并解压二进制包 mkdir /opt/etcd/{bin,cfg,ssl} -p tar zxvf etcd-v3.4.9-linux-amd64.tar.gz mv etcd-v3.4.9-linux-amd64/{etcd,etcdctl} /opt/etcd/bin/
|
2天前
|
敏捷开发 网络安全 持续交付
阿里云云效产品使用合集之ACK集群中的Pod需要访问公网,该如何实现
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
22天前
|
前端开发 Devops 测试技术
阿里云云效产品使用问题之更换所部署的环境关联的ACK集群该如何实现
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
1月前
Elasticsearch安装配置文件
Elasticsearch安装配置文件
18 0
|
6天前
|
Docker 容器
docker desktop安装es并连接elasticsearch-head:5
以上就是在Docker Desktop上安装Elasticsearch并连接Elasticsearch-head:5的步骤。
23 2
|
18天前
|
Linux Python
【Elasticsearch】linux使用supervisor常驻Elasticsearch,centos6.10安装 supervisor
【Elasticsearch】linux使用supervisor常驻Elasticsearch,centos6.10安装 supervisor
19 3