elk7.9异机真集群docker搭建

简介: elk7.9异机真集群docker搭建

好久不给大家写脚本了,波哥是真的忙。但是还不能给大家透露再忙什么。不过相信波哥的这次选择会在不久的将来给大家带来更多更精彩的内容。


转眼2021了。时间过得真快,那段过年后被居家隔离的日子视乎就在昨天。天天在家闷到发臭,头不洗,胡子也不刮,蓬头垢面的盼着疫情赶快过去。现在想想又似乎是最快乐的时光,那是大学毕业之后第一次在家过元宵节。家门出不去只能一家人天天在家玩牌。真的好久没有那种感觉了!


2020还是有很多值得总结的,相信各位关注波哥的老朋友应该能察觉到,就是在这一年,波哥的公众号接了第一个广告。这个跟钱其实没多大关系,那一刻还是略有感动。2019年4月份开始写公众号,20个月中从文章、架构、脚本到自己开发全栈工具、再到录制各类教学视频。


波哥一路的坚持,也感谢各位的陪伴,我也在不断的勾勒着未来。以后可能会从更宏观的角度来分享关于IT的内容。说的有点多,还是进入到今天的正题吧!


######################################


网上有不少关于elk集群的文章,但是都是二进制部署的文章,当然也有容器部署的。但是也都是一台机器拉起来的伪集群。

波哥抽了点时间做了一套可跨机器的docker部署的真集群,版本采用最新的7.9,带账号认证。


案例中的三台机器:

192.168.77.14

192.168.77.15

192.168.77.16


分别安装docker和docker_compose

三个节点都创建 /data/elasticsearch/data目录,将elastic-certificates.p12证书上传到目录中。


目录赋权限chmod -R 777 /data/elasticsearch

将yaml文件放到/data目录解压


接下来给大家介绍一下yaml文件中需要替换的变量:


主节点

node.name=elasticsearch


其他节点分别为:

node.name=es02

node.name=es03

discovery.seed_hosts=节点1IP,节点2IP,节点3IP

network.publish_host=节点IP

"ES_JAVA_OPTS=-Xms10g -Xmx10g"   这个可以根据服务器情况调整内容值。


   environment:
      - discovery.zen.minimum_master_nodes=2
      - bootstrap.memory_lock=true
      - node.name=elasticsearch
      - node.master=true
      - node.data=true
      - http.cors.enabled=true
      - http.cors.allow-origin="*"
      - http.cors.allow-headers=Authorization,X-Requested-With,Content-Length,Content-Type
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=192.168.77.14:9300,192.168.77.15:9300,192.168.77.16:9300
      - discovery.zen.fd.ping_timeout=1m
      - discovery.zen.fd.ping_retries=5
      - network.publish_host=192.168.77.14
      - cluster.initial_master_nodes=elasticsearch,es02,es03
      - cluster.routing.allocation.cluster_concurrent_rebalance=32
      - cluster.routing.allocation.node_concurrent_recoveries=32
      - cluster.routing.allocation.node_initial_primaries_recoveries=32
      - "ES_JAVA_OPTS=-Xms10g -Xmx10g"
#      - action.destructive_requires_name=true
#      - action.auto_create_index=.security,.monitoring*,.watches,.triggered_watches,.watcher-history*
      - xpack.security.enabled=true
      - xpack.license.self_generated.type=basic
      #- xpack.security.authc.accept_default_password=true
      - xpack.security.transport.ssl.enabled=true
      - xpack.ml.enabled=true
      - xpack.security.transport.ssl.verification_mode=certificate
      - xpack.security.transport.ssl.keystore.path=/usr/share/elasticsearch/data/elastic-certificates.p12
      - xpack.security.transport.ssl.truststore.path=/usr/share/elasticsearch/data/elastic-certificates.p12
      - network.host=0.0.0.0

其他节点类似上面的配置:


分别拉起三个节点的es容器:

docker-compose -f elkMain.yaml up


主节点进入es容器:

docker exec -it elasticsearch /bin/bash


生产账号密码;

./bin/elasticsearch-setup-passwords auto


这个生成的密码要记住了奥。


elastic这个账号是最高权限的。

######################################


主节点部署:logstash,kibana

主节点: mkdir -p /data/logstash


logstash修改红色密码:


- xpack.monitoring.elasticsearch.password="9NxTijtJTtY43nRpx5gu"


kibana修改红色密码:


ELASTICSEARCH_PASSWORD: "PwgIEHctaLAPanhdP2Jw"


再次拉起logstash,kibana


重新启动一下:logstash,kibana容器

然后就可以访问了kibana:

https://节点1IP:5601

elasticsearch

https://节点1IP:9200

或者

http://节点1IP:9200

http://节点1IP:5601

账号:elastic


相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
6月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
750 6
|
11月前
|
Prometheus 监控 Cloud Native
除了Prometheus,还有哪些工具可以监控Docker Swarm集群的资源使用情况?
除了Prometheus,还有哪些工具可以监控Docker Swarm集群的资源使用情况?
874 79
|
消息中间件 监控 RocketMQ
Docker部署RocketMQ5.2.0集群
本文详细介绍了如何使用Docker和Docker Compose部署RocketMQ 5.2.0集群。通过创建配置文件、启动集群和验证容器状态,您可以快速搭建起一个RocketMQ集群环境。希望本文能够帮助您更好地理解和应用RocketMQ,提高消息中间件的部署和管理效率。
1837 91
|
网络安全 Docker 容器
|
Prometheus 监控 Cloud Native
如何使用Prometheus监控Docker Swarm集群的资源使用情况?
还可以根据实际需求进行进一步的配置和优化,如设置告警规则,当资源使用超出阈值时及时发出警报。通过这些步骤,能够有效地使用 Prometheus 对 Docker Swarm 集群的资源进行监控和管理。
758 161
|
Prometheus 监控 Cloud Native
如何监控Docker Swarm集群的性能?
如何监控Docker Swarm集群的性能?
912 163
|
监控 Docker 容器
Docker Swarm集群的扩展与缩容策略,涵盖其意义、方法、步骤及注意事项
本文深入探讨了Docker Swarm集群的扩展与缩容策略,涵盖其意义、方法、步骤及注意事项,旨在帮助用户高效管理集群资源,适应业务变化,确保服务稳定性和资源优化。
385 12
|
API Docker 容器
【赵渝强老师】构建Docker Swarm集群
本文介绍了如何使用三台虚拟主机构建Docker Swarm集群。首先在master节点上初始化集群,然后通过特定命令将node1和node2作为worker节点加入集群。最后,在master节点上查看集群的节点信息,确认集群构建成功。文中还提供了相关图片和视频教程,帮助读者更好地理解和操作。
229 0
|
调度 Docker 容器
【赵渝强老师】Docker Swarm集群的体系架构
Docker Swarm自1.12.0版本起集成至Docker引擎,无需单独安装。它内置服务发现功能,支持跨多服务器或宿主机创建容器,形成集群提供服务。相比之下,Docker Compose仅限于单个宿主机。Docker Swarm采用主从架构,Swarm Manager负责管理和调度集群中的容器资源,用户通过其接口发送指令,Swarm Node根据指令创建容器运行应用。
348 0
下一篇
开通oss服务