大数据数据存储的搜索引擎Elasticsearch的安装部署的多节点集群方式

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 作为一种广泛应用于大数据存储和分析的搜索引擎,Elasticsearch已经成为了许多企业的首选解决方案。在本文中,我们将会介绍如何通过多节点集群方式进行Elasticsearch的安装部署。


  1. 确认网络环境

在部署Elasticsearch集群之前,需要确认网络环境是否满足要求。如果集群节点之间无法互相通信,则会影响集群的正常运行。因此,在部署集群之前需要确保节点之间的网络能够正常交互。

  1. 安装Java Runtime Environment(JRE)

Elasticsearch是基于Java编写的,因此需要先安装JRE才能正常运行。可以通过以下命令来检查是否已经安装了JRE:

java -version

如果输出类似于以下内容,则说明已经安装成功:

java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)
  1. 下载并安装Elasticsearch

从Elasticsearch官网上下载最新版本的Elasticsearch软件包。可以通过以下命令来下载:

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.14.0-linux-x86_64.tar.gz

下载完成后,我们需要将压缩包解压到指定目录,并设置Elasticsearch的环境变量。可以通过以下命令来完成这些操作:

tar -zxvf elasticsearch-7.14.0-linux-x86_64.tar.gz
mv elasticsearch-7.14.0 /usr/local/elasticsearch
export PATH=$PATH:/usr/local/elasticsearch/bin
  1. 修改配置文件

在每个节点上,需要修改Elasticsearch的配置文件config/elasticsearch.yml,以便让各个节点能够互相发现和通信。

cluster.name: my-cluster
node.name: node-1
network.host: 0.0.0.0
discovery.seed_hosts: ["node-1", "node-2"]
cluster.initial_master_nodes: ["node-1", "node-2"]

其中,cluster.name是集群名称;node.name是当前节点名称;network.host是监听地址;discovery.seed_hosts是初始节点列表;cluster.initial_master_nodes是初始主节点列表。

  1. 启动服务

在每个节点上,需要执行以下命令来启动Elasticsearch服务:

cd /usr/local/elasticsearch
./bin/elasticsearch
  1. 验证集群状态

在任意一个节点上,可以通过以下命令来查看集群状态:

curl http://localhost:9200/_cat/nodes?v

如果输出类似于以下内容,则说明集群已经正常运行:

ip         heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
192.168.0.3           26          79   2    0.14    0.09     0.06 dilmrt    -      node-1
192.168.0.4           31          79   4    0.12    0.11     0.08 dilmrt    *      node-2

至此,多节点集群方式下的Elasticsearch安装部署已经完成。当然,在实际应用中可能会遇到更加复杂的环境和需求,在部署过程中也需要根据具体情况进行灵活调整和优化。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
1月前
|
自然语言处理 大数据 应用服务中间件
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
63 5
|
13天前
|
存储 监控 安全
Elasticsearch 集群
【11月更文挑战第3天】
93 54
|
5天前
|
缓存 监控 Java
Elasticsearch集群JVM调优
Elasticsearch集群JVM调优
19 5
|
9天前
|
监控 API 索引
Elasticsearch集群健康检查
【11月更文挑战第4天】
25 3
|
13天前
|
存储 监控 索引
Elasticsearch 节点
【11月更文挑战第3天】
24 3
|
19天前
|
存储 NoSQL 大数据
大数据 数据存储优化
【10月更文挑战第25天】
54 2
|
29天前
|
存储 NoSQL 大数据
大数据中数据存储 (Data Storage)
【10月更文挑战第17天】
33 2
|
1月前
|
存储 缓存 监控
深入解析:Elasticsearch集群性能调优策略与最佳实践
【10月更文挑战第8天】Elasticsearch 是一个分布式的、基于 RESTful 风格的搜索和数据分析引擎,它能够快速地存储、搜索和分析大量数据。随着企业对实时数据处理需求的增长,Elasticsearch 被广泛应用于日志分析、全文搜索、安全信息和事件管理(SIEM)等领域。然而,为了确保 Elasticsearch 集群能够高效运行并满足业务需求,需要进行一系列的性能调优工作。
94 3
|
1月前
|
SQL 分布式计算 NoSQL
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
41 4
|
1月前
|
运维 监控 数据可视化
大数据-171 Elasticsearch ES-Head 与 Kibana 配置 使用 测试
大数据-171 Elasticsearch ES-Head 与 Kibana 配置 使用 测试
66 1