【Elasticsearch全文搜索引擎实战】之集群搭建及配置

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 文中Elasticsearch版本为6.0.11. 环境配置把环境配置放在第一节来讲,是因为很多人按官网的Getting Started安装运行会有各种错误。其实都是因为一些配置不正确引起的。首先,Elasticsearch不能以root账号运行,所以我们需要单独建立用户授权运行。

文中Elasticsearch版本为6.0.1

1. 环境配置

把环境配置放在第一节来讲,是因为很多人按官网的Getting Started安装运行会有各种错误。其实都是因为一些配置不正确引起的。
首先,Elasticsearch不能以root账号运行,所以我们需要单独建立用户授权运行。
对于非root账号Linux可以进行并发操作,但是文件、线程都有限制,所以,部署Elasticsearc的机器需要进行相应配置。

  • 修改文件限制
# 修改系统文件
vi /etc/security/limits.conf

# 增加的内容

* soft nofile 65536
* hard nofile 65536
* soft nproc 2048
* hard nproc 4096
  • 调整进程数
# 修改系统文件
vi /etc/security/limits.d/90-nproc.conf

# 调整成以下配置
*          soft    nproc     4096
root       soft    nproc     unlimited
  • 调整虚拟内存&最大并发连接
# 修改系统文件
vi /etc/sysctl.conf

# 增加的内容
vm.max_map_count=655360
fs.file-max=655360

保存之后执行 sysctl -p 生效

  • 创建Elasticsearch专用用户
useradd es
  • 创建ELK相关目录并赋权
#创建Elasticsearch APP目录
mkdir /usr/elasticsearch
#创建Elasticsearch日志目录 数据目录
mkdir var/lib/elasticsearch
#创建Elasticsearch日志目录
mkdir var/logs/elasticsearch


#更改目录Owner
chown -R es:es /usr/elasticsearch
chown -R es:es var/lib/elasticsearch
chown -R es:es var/logs/elasticsearch
  • 下载Elasticsearch包并解压
https://www.elastic.co/guide/en/elasticsearch/reference/current/zip-targz.html
#打开文件夹
cd /home/download

#下载
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.1.tar.gz

#解压
tar -zvxf elasticsearch-6.0.0.tar.gz

2. Elasticsearch 部署

本次一共要部署两个Elasticsearch节点,所有文中没有指定机器的操作都表示每个Elasticsearch机器都要执行该操作

  • 移动Elasticsearch到统一目录
#移动目录
mv /home/download/elasticsearch-6.0.1 /usr/elasticsearch
#赋权
chown -R elk:elk /usr/elasticsearch/
  • 开放端口(CentOS7+)
# 增加端口
firewall-cmd --add-port=9200/tcp --permanent
firewall-cmd --add-port=9300/tcp --permanent
  • 重新加载防火墙规则(CentOS7+)
firewall-cmd --reload
  • 切换账号
#账号切换到 es
su - es

2. Elasticsearch集群配置

  • 修改配置
#打开目录
cd /usr/elasticsearch

#修改配置

vi config/elasticsearch.yml
  • 主节点配置(192.168.180.1)
cluster.name: es 
node.name: node-1
path.data: /var/lib/elasticsearch
path.logs: /var/logs/elasticsearch
network.host: 192.168.180.1
http.port: 9200
node.master: true
node.data: true
discovery.zen.ping.unicast.hosts: ["192.168.180.1:9300","192.168.180.2:9300"]
discovery.zen.minimum_master_nodes: 2
  • 从节点配置(192.168.180.2)
cluster.name: es 
node.name: node-2
path.data: /var/lib/elasticsearch
path.logs: /var/logs/elasticsearch
network.host: 192.168.180.2
http.port: 9200
node.master: false
node.data: true
discovery.zen.ping.unicast.hosts: ["192.168.1.31:9300","192.168.1.32:9300"]
discovery.zen.minimum_master_nodes: 2
  • 配置参数说明
参数 说明
cluster.name 集群名
node.name 节点名
path.data 数据保存目录
path.logs 日志保存目录
network.host 节点host/ip
http.port HTTP访问端口
node.master 是否允许作为主节点
node.data 是否保存数据
discovery.zen.ping.unicast.hosts 集群中的主节点的初始列表,当节点(主节点或者数据节点)启动时使用这个列表进行探测
discovery.zen.minimum_master_nodes master选举最少的节点数,这个一定要设置为N/2+1,其中N是:N是具有master资格的节点的数量,而不是整个集群节点个数

3. 启动Elasticsearch

  • 运行
#进入elasticsearch根目录
cd /usr/elasticsearch
#启动 (-d 为后台运行)
./bin/elasticsearch -d
  • 验证

访问http://192.168.180.1:9200/,可以看到如下内容则表示成功:

{     
name: "node-1",    
cluster_name: "es",    
cluster_uuid: "Tum8l98uQfK0LdS-KnsWxg",    
version: {    
number: "6.0.1",    
build_hash: "601be4a",  
build_date: "2017-12-04T09:29:09.525Z",    
build_snapshot: false,    
lucene_version: "7.0.1",    
minimum_wire_compatibility_version: "5.6.0",    
minimum_index_compatibility_version: "5.0.0"    
},    
tagline: "You Know, for Search"    
}   
  • 健康状态检查

访问http://192.168.180.1:9200/,status返回green则表示正常。

{
cluster_name: "es",
status: "green",
timed_out: false,
number_of_nodes: 2,
number_of_data_nodes: 2,
active_primary_shards: 16,
active_shards: 32,
relocating_shards: 0,
initializing_shards: 0,
unassigned_shards: 0,
delayed_unassigned_shards: 0,
number_of_pending_tasks: 0,
number_of_in_flight_fetch: 0,
task_max_waiting_in_queue_millis: 0,
active_shards_percent_as_number: 100
}

4. Head插件

Elasticsearch head是一个用浏览器跟ES集群交互的插件,可以查看集群状态、集群的doc内容、执行搜索和普通的Rest请求等。
具体安装配置请参考另外一篇博文:http://www.cnblogs.com/mantoudev/p/8269345.html

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
2月前
|
存储 负载均衡 Java
Elasticsearch集群面试系列文章一
【9月更文挑战第9天】Elasticsearch(简称ES)是一种基于Lucene构建的分布式搜索和分析引擎,广泛用于全文搜索、结构化搜索、分析以及日志实时分析等场景。
98 7
|
3月前
|
存储 缓存 监控
|
25天前
|
存储 缓存 监控
深入解析:Elasticsearch集群性能调优策略与最佳实践
【10月更文挑战第8天】Elasticsearch 是一个分布式的、基于 RESTful 风格的搜索和数据分析引擎,它能够快速地存储、搜索和分析大量数据。随着企业对实时数据处理需求的增长,Elasticsearch 被广泛应用于日志分析、全文搜索、安全信息和事件管理(SIEM)等领域。然而,为了确保 Elasticsearch 集群能够高效运行并满足业务需求,需要进行一系列的性能调优工作。
51 3
|
28天前
|
SQL 分布式计算 NoSQL
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
38 4
|
26天前
|
自然语言处理 搜索推荐 关系型数据库
elasticsearch学习六:学习 全文搜索引擎 elasticsearch的语法,使用kibana进行模拟测试(持续更新学习)
这篇文章是关于Elasticsearch全文搜索引擎的学习指南,涵盖了基本概念、命令风格、索引操作、分词器使用,以及数据的增加、修改、删除和查询等操作。
17 0
elasticsearch学习六:学习 全文搜索引擎 elasticsearch的语法,使用kibana进行模拟测试(持续更新学习)
|
2月前
|
自然语言处理 搜索推荐 数据库
高性能分布式搜索引擎Elasticsearch详解
高性能分布式搜索引擎Elasticsearch详解
80 4
高性能分布式搜索引擎Elasticsearch详解
|
28天前
|
运维 监控 数据可视化
大数据-171 Elasticsearch ES-Head 与 Kibana 配置 使用 测试
大数据-171 Elasticsearch ES-Head 与 Kibana 配置 使用 测试
52 1
|
26天前
|
开发框架 监控 搜索推荐
GoFly快速开发框架集成ZincSearch全文搜索引擎 - Elasticsearch轻量级替代为ZincSearch全文搜索引擎
本文介绍了在项目开发中使用ZincSearch作为全文搜索引擎的优势,包括其轻量级、易于安装和使用、资源占用低等特点,以及如何在GoFly快速开发框架中集成和使用ZincSearch,提供了详细的开发文档和实例代码,帮助开发者高效地实现搜索功能。
108 0
|
2月前
|
存储 自然语言处理 关系型数据库
ElasticSearch基础3——聚合、补全、集群。黑马旅游检索高亮+自定义分词器+自动补全+前后端消息同步
聚合、补全、RabbitMQ消息同步、集群、脑裂问题、集群分布式存储、黑马旅游实现过滤和搜索补全功能
ElasticSearch基础3——聚合、补全、集群。黑马旅游检索高亮+自定义分词器+自动补全+前后端消息同步
|
2月前
|
JSON 监控 Java
Elasticsearch 入门:搭建高性能搜索集群
【9月更文第2天】Elasticsearch 是一个分布式的、RESTful 风格的搜索和分析引擎,基于 Apache Lucene 构建。它能够处理大量的数据,提供快速的搜索响应。本教程将指导你如何从零开始搭建一个基本的 Elasticsearch 集群,并演示如何进行简单的索引和查询操作。
187 3