Elasticsearch 集群搭建

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Elasticsearch 集群搭建,单台机器搭建3节点ES集群,本文采用elasticsearch7.2做为安装版本,linux 为centos 。理由是7.2版本是目前(2020-02-29)ES认证工程师考试的版本。到官网下载ES7.2版本,


下载安装

下载地址:https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-2-0

另外,官网下载有时太慢,华为云提供了相关镜像下载,速度很快,国内的朋友可以直接在华为云下载,下载地址:https://mirrors.huaweicloud.com/elasticsearch/7.2.0/?C=M&O=D

新建用户

由于elasticsearch在linux环境上启动是不允许用root用户,所以新建一个用户:elasticsearch


4.[root@iZm5eex5q5d6ngkvvkkcfxZ bin]# adduser elasticsearch
5.[root@iZm5eex5q5d6ngkvvkkcfxZ bin]# passwd elasticsearch
6.Changing password for user elasticsearch.
7.New password: 
8.BAD PASSWORD: The password is shorter than 8 characters
9.Retype new password: 
10.passwd: all authentication tokens updated successfully.



上传解压

1)在linux服务器上新建文件夹,用于存放ES相关文件:elasticsearch-cluster

2)在elasticsearch-cluster目录下分别创建3个文件夹:elasticsearch1、elasticsearch2、elasticsearch3

3)上传安装包文件:elasticsearch-7.2.0-linux-x86_64.tar.gz 到3个子文件夹下

4)依次解码gz安装包:tar -zxvf elasticsearch-7.2.0-linux-x86_64.tar.gz

集群配置

以其中一个节点的配置为例,其他节点配置相同

1)修改配置文件:cd /usr/elasticsearch-cluster/elasticsearch1/elasticsearch-7.2.0/config



cd /usr/elasticsearch-cluster/elasticsearch1/elasticsearch-7.2.0/config
vi elasticsearch.yml


在文件的最下面添加以下配置:

# 集群名称
cluster.name: myelasticsearch
# 节点名称
node.name: node1
# ip地址,具体根据自己的情况填写
network.host: 172.31.xxx.xxx
# 服务端口号
http.port: 9201
# 集群间通信端口号
transport.tcp.port: 9301
# 设置集群自动发现机器ip集合
discovery.seed_hosts: ["172.31.xxx.xxx:9301", "172.31.xxx.xxx:9302","172.31.xxx.xxx:9303"]
cluster.initial_master_nodes: ["node1","node2","node3"]
node.master: true
network.publish_host: 172.31.xxx.xxx
network.bind_host: 172.31.xxx.xxx


保存退出即可

2)同样的方法修改node2节点配置,注意里面端口的变化:


#集群名称
cluster.name: myelasticsearch
#节点名称
node.name: node2
#ip
network.host: 172.31.xxx.xxx
#服务器端口
http.port: 9202
#集群间通信端口号
transport.tcp.port: 9302
#设置集群自动发现机器IP集合
discovery.seed_hosts: ["172.31.xxx.xxx:9301","172.31.xxx.xxx:9302","172.31.xxx.xxx:9303"]
cluster.initial_master_nodes: ["node1","node2","node3"]
network.publish_host: 172.31.xxx.xxx
network.bind_host: 172.31.xxx.xxx
node.master: true


3)节点node3配置,注意端口号变化:

#集群名称
cluster.name: myelasticsearch
#节点名称
node.name: node3
#ip
network.host: 172.31.xxx.xxx
#服务器端口
http.port: 9203
#集群间通信端口号
transport.tcp.port: 9303
#设置集群自动发现机器IP集合
discovery.seed_hosts: ["172.31.xxx.xxx:9301","172.31.xxx.xxx:9302","172.31.xxx.xxx:9303"]
cluster.initial_master_nodes: ["node1","node2","node3"]
network.publish_host: 172.31.xxx.xxx
network.bind_host: 172.31.xxx.xxx
node.master: true


注意事项:

1.集群名称cluster.name必须相同

2.IP地址要统一,不能有的用127.0.0.1,有的用内网IP地址,否则会报如下错误:

master not discovered yet, this node has not previously joined a bootstrapped (v7+) cluster


[2020-02-26T11:55:59,482][WARN ][o.e.c.c.ClusterFormationFailureHelper] [elasticsearch-node-1] master not discovered yet, this node has not previously joined a bootstrapped (v7+) cluster, and [cluster.initial_master_nodes] is empty on this node: have discovered []; discovery will continue using [127.0.0.1:9302] from hosts providers and [{elasticsearch-node-1}{DqmvFxBbTMyjt4telpYGyg}{5_HFiJBCReGEXLG5k3eWpg}{127.0.0.1}{127.0.0.1:9301}{ml.machine_memory=8201244672, xpack.installed=true, ml.max_open_jobs=20}] from last-known cluster state; node term 0, last-accepted version 0 in term 0


3.配置文件参数前面要有空格,

image.png


4.linux文件数要增加,如下:

[2020-02-26T11:55:49,468][WARN ][o.e.b.BootstrapChecks    ] [elasticsearch-node-1] max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决方法:

切换到root用户修改配置sysctl.conf

vi /etc/sysctl.conf

添加下面配置:

vm.max_map_count=655360

并执行命令:

sysctl -p

然后,重新启动elasticsearch,即可启动成功。

5.启动必须以非root用户启动,咱们就用elasticsearch用户启动,否则会报如下错误:

[2020-02-29T12:47:05,825][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [node1] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root

集群启动与监控

启动

cd /usr/elasticsearch-cluster/elasticsearch3/elasticsearch-7.2.0/bin
./elasticsearch &

看到如下,started说明启动了,由于只起了一个节点,所以没有选主成功,继续起另外的机器就OK:


[2020-02-29T12:43:52,398][WARN ][o.e.n.Node               ] [node3] timed out while waiting for initial discovery state - timeout: 30s
[2020-02-29T12:43:52,407][INFO ][o.e.h.AbstractHttpServerTransport] [node3] publish_address {172.31.xxx.xxx:9203}, bound_addresses {172.31.xxx.xxx:9203}
[2020-02-29T12:43:52,408][INFO ][o.e.n.Node               ] [node3] started

停止,查询对应的进程,然后kill掉即可

ps -ef | grep Elasticsearch | grep -v grep | awk '{print $2}'

三台都启动成功后,查看集群状态(green代表健康):

[elasticsearch@iZm5eex5q5d6ngkvvkkcfxZ bin]$ curl 172.31.xxx.xxx:9201/_cat/health
1582952647 05:04:07 myelasticsearch green 3 3 31 15 0 0 0 0 - 100.0%

至此集群搭建完成

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2月前
|
存储 负载均衡 Java
Elasticsearch集群面试系列文章一
【9月更文挑战第9天】Elasticsearch(简称ES)是一种基于Lucene构建的分布式搜索和分析引擎,广泛用于全文搜索、结构化搜索、分析以及日志实时分析等场景。
100 7
|
3月前
|
存储 缓存 监控
|
3月前
|
存储 监控 负载均衡
检索服务elasticsearch集群(Cluster)
【8月更文挑战第23天】
63 3
|
27天前
|
存储 缓存 监控
深入解析:Elasticsearch集群性能调优策略与最佳实践
【10月更文挑战第8天】Elasticsearch 是一个分布式的、基于 RESTful 风格的搜索和数据分析引擎,它能够快速地存储、搜索和分析大量数据。随着企业对实时数据处理需求的增长,Elasticsearch 被广泛应用于日志分析、全文搜索、安全信息和事件管理(SIEM)等领域。然而,为了确保 Elasticsearch 集群能够高效运行并满足业务需求,需要进行一系列的性能调优工作。
58 3
|
1月前
|
SQL 分布式计算 NoSQL
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
38 4
|
2月前
|
存储 自然语言处理 关系型数据库
ElasticSearch基础3——聚合、补全、集群。黑马旅游检索高亮+自定义分词器+自动补全+前后端消息同步
聚合、补全、RabbitMQ消息同步、集群、脑裂问题、集群分布式存储、黑马旅游实现过滤和搜索补全功能
ElasticSearch基础3——聚合、补全、集群。黑马旅游检索高亮+自定义分词器+自动补全+前后端消息同步
|
3月前
|
存储 监控 负载均衡
Elasticsearch 集群副本
【8月更文挑战第24天】
67 13
|
3月前
|
存储 负载均衡 监控
Elasticsearch 集群分片
【8月更文挑战第24天】
82 12
|
2月前
|
JSON 监控 Java
Elasticsearch 入门:搭建高性能搜索集群
【9月更文第2天】Elasticsearch 是一个分布式的、RESTful 风格的搜索和分析引擎,基于 Apache Lucene 构建。它能够处理大量的数据,提供快速的搜索响应。本教程将指导你如何从零开始搭建一个基本的 Elasticsearch 集群,并演示如何进行简单的索引和查询操作。
192 3
|
3月前
|
存储 缓存 算法
Elasticsearch 集群节点间的通信
【8月更文挑战第25天】
57 6

热门文章

最新文章

下一篇
无影云桌面