1分钟系列-Elasticsearch 集群安装与常见问题

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
云防火墙,500元 1000GB
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 常见问题

集群安装

Elasticsearch 简介请参考上篇

配置文件修改

配置文件位置 config/elasticsearch.yml

  • 集群的名称

通过 cluster.name 可以配置集群的名称,集群是一个整体,因此名称都要一致,所有主机都配置成相同的名称,配置示例:


cluster.name: my-es-application
  • 节点的名称

通过 node.name 可以配置每个节点的名称,每个节点都是集群的一部分,每个节点名称都不要相同,可以按照顺序编号,配置示例:


node.name: node-238

其他的主机可以配置为 node-239node-240 等。

  • 是否有资格成为主节点

通过 node.master 可以配置该节点是否有资格成为主节点,如果配置为 true,则主机有资格成为主节点,配置为 false 则主机就不会成为主节点,可以去当数据节点或负载均衡节点。注意这里是有资格成为主节点,不是一定会成为主节点,主节点需要集群经过选举产生。这里我配置所有主机都可以成为主节点,因此都配置为 true,配置示例:


node.master: true
  • 是否是数据节点

通过 node.data 可以配置该节点是否为数据节点,如果配置为 true,则主机就会作为数据节点,注意主节点也可以作为数据节点,当 node.masternode.data 均为 false,则该主机会作为负载均衡节点。这里我配置所有主机都是数据节点,因此都配置为 true,配置示例:


node.data: true
  • 数据和日志路径

通过 path.datapath.logs 可以配置 Elasticsearch 的数据存储路径和日志存储路径,可以指定任意位置,另外注意一下写入权限问题,配置示例:



path.data: /data/elasticsearch/datapath.logs: /data/elasticsearch/logs
  • 设置访问的地址和端口

我们需要设定 Elasticsearch 运行绑定的 Host,默认是无法公开访问的,如果设置为主机的公网 IP 或 0.0.0.0 就是可以公开访问的,这里我们可以都设置为公开访问或者部分主机公开访问,如果是公开访问就配置为:


network.host: 0.0.0.0

如果不想被公开访问就不用配置。另外还可以配置访问的端口,默认是 9200:


http.port: 9200
  • 集群地址设置

通过 discovery.zen.ping.unicast.hosts 可以配置集群的主机地址,配置之后集群的主机之间可以自动发现,这里我配置的是内网地址,配置示例:


discovery.zen.ping.unicast.hosts: ["192.168.111.240:9300", "192.168.111.239:9300"]

这里请改成你的主机对应的 IP 地址。

  • 节点数目相关配置

为了防止集群发生“脑裂”,即一个集群分裂成多个,通常需要配置集群最少主节点数目,通常为 (可成为主节点的主机数目 / 2) + 1,例如我这边可以成为主节点的主机数目为 3,那么结果就是 2,配置示例:


discovery.zen.minimum_master_nodes: 2

另外还可以配置当最少几个节点恢复之后,集群就正常工作,这里我设置为 4,可以酌情修改,配置示例:


gateway.recover_after_nodes: 4

注:在另外两个节点上也都需要进行上述配置 "192.168.111.240:9300", "192.168.111.239:9300"

检查配置文件












# 修改完后的配置文件内容为(去掉注释和空行)grep -Ev "^$|[#;]" elasticsearch.yml
cluster.name: my-es-applicationnode.name: node-238network.host: 0.0.0.0network.publish_host: 192.168.111.238discovery.zen.ping.unicast.hosts: ["192.168.111.238:9300", "192.168.111.240:9300", "192.168.111.239:9300"]http.cors.enabled: truehttp.cors.allow-origin: "*"discovery.zen.minimum_master_nodes: 2

修改其他节点的配置

同上

分别启动每个节点


[elasticsearch@localhost elasticsearch-6.6.1]$ ./bin/elasticsearch -d

检查集群状态,如果结果和下图一致说明集群配置成功


curl 'localhost:9200/_cat/health?v'


curl -XGET 'http://192.168.111.239:9200/_cluster/state?pretty' | more

集群配置遇到的问题

防火墙,导致连接不到主节点

discovery.zen.minimum_master_nodes: 2
  • 无配置,通过查看每个节点的日志,发现都输出如下信息,说明个自为主








# 192.168.111.238 上new_master {node-238} ...
# 192.168.111.239 上new_master {node-239}...
# 192.168.111.240 上new_master {node-240}...
  • 配置,怀疑“脑裂”,所以增加上面的配置指定集群主节点的主机数目,再运行发现节点上不断输出






not enough master nodes discovered during pinging (found [[Candidate{node={node-240}......]], but needed [2]), pinging again...
.....
020-05-07T13:15:12,258][WARN ][o.e.d.z.ZenDiscovery     ] [node-239] failed to connect to master [{node-240}{4ttfd_QwRE65S0GLWcRsPw}{iKILM4_yS22E_utZG6lVAA}{192.168.111.240}{192.168.111.240:9300}{ml.machine_memory=1031090176, ml.max_open_jobs=20, xpack.installed=true, ml.enabled=true}], retrying...org.elasticsearch.transport.ConnectTransportException: [node-240][192.168.111.240:9300] connect_exception
通过观察日志,怀疑可能是因为防火墙的原因,通过下面的命令进行检查,关闭后再启动集群就测试通过了







# CentOS firewall 作为防火墙# 查看防火墙状态firewall-cmd --state# 停止firewallsystemctl stop firewalld.service# 禁止firewall开机启动systemctl disable firewalld.service

Linux 服务器系统配置




















# 修改最大内存限制vim /etc/sysctl.conf
# 在末尾增加如下配置vm.max_map_count = 655360vm.swappiness=1
# 保存退出,输入以下命令执行使其生效sysctl -p
---
# 修改最大打开文件个数vim /etc/security/limits.conf
# 在末尾添加如下内容hard nofile 65536soft nofile 65536

注意观察日志,根据日志提示去解决问题

下一步计划

Nginx 安装,准备访问日志

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
11月前
|
缓存 Prometheus 监控
Elasticsearch集群JVM调优设置合适的堆内存大小
Elasticsearch集群JVM调优设置合适的堆内存大小
1872 1
|
6月前
|
Java Linux
CentOS环境搭建Elasticsearch集群
至此,您已成功在CentOS环境下搭建了Elasticsearch集群。通过以上介绍和步骤,相信您对部署Elasticsearch集群有了充分的了解。最后祝您在使用Elasticsearch集群的过程中顺利开展工作!
356 22
|
5月前
|
JSON 安全 数据可视化
Elasticsearch(es)在Windows系统上的安装与部署(含Kibana)
Kibana 是 Elastic Stack(原 ELK Stack)中的核心数据可视化工具,主要与 Elasticsearch 配合使用,提供强大的数据探索、分析和展示功能。elasticsearch安装在windows上一般是zip文件,解压到对应目录。文件,elasticsearch8.x以上版本是自动开启安全认证的。kibana安装在windows上一般是zip文件,解压到对应目录。elasticsearch的默认端口是9200,访问。默认用户是elastic,密码需要重置。
2449 0
|
6月前
|
安全 Java Linux
Linux安装Elasticsearch详细教程
Linux安装Elasticsearch详细教程
997 1
|
11月前
|
存储 监控 安全
Elasticsearch 集群
【11月更文挑战第3天】
226 54
|
11月前
|
缓存 监控 Java
Elasticsearch集群JVM调优
Elasticsearch集群JVM调优
356 5
|
11月前
|
缓存 监控 安全
优化Elasticsearch 集群配置
优化Elasticsearch 集群配置
292 4
|
11月前
|
监控 安全 网络安全
Elasticsearch集群的网络设置
Elasticsearch集群的网络设置
366 3
|
11月前
|
存储 缓存 监控
Elasticsearch集群JVM调优堆外内存
Elasticsearch集群JVM调优堆外内存
221 1
|
11月前
|
监控 Java 测试技术
Elasticsearch集群JVM调优垃圾回收器的选择
Elasticsearch集群JVM调优垃圾回收器的选择
365 1

热门文章

最新文章