环境篇 ES 集群安装准备工作|学习笔记

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 快速学习环境篇 ES 集群安装准备工作

开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版:环境篇 ES 集群安装准备工作】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/643/detail/10698


环境篇 ES 集群安装准备工作

解压 elasticsearch 安装包

Elasticsearch 的版本是6.5.3

在安装的时,还要注意前面的一些问题,比如 es 是要频繁去读写文件的,所以要把文件的数量修改,否则系统会报错。系统都是有最大打开文件数的。

只要是集群的安装,都需要有规划的工作。

准备了三台服务器:

IP

Host

实例

192.168.216.111

Hadoop01

ES 实例

192.168.216.112

Hadoop02

ES 实例

192.168.216.113

Hadoop03

ES 实例

在启动之前要进行普通用户的创建。三台服务器分别创建普通用户 hadoop:

把软件拉到 home 文件夹里。

准备服务器

1.切换到 root 用户:

hadoop 是用户(nofile 是代表最大文件打开数,soft: 警告: hard: 严络)

hadoop soft nofile 65536  

hadoop hard nofile 65536

退出用户重新登录,使配置生效~>reboot 重启虚拟机

第一台:[root@hadoop01~]# useradd Hadoop

切换一下[root@hadoop01~]# su Hadoop 只要能切换过去,我们就算创建成功。

[Hadoop@hadoop01 root]$ su

Password:

切换回root:

[root@hadoop01~]#cat/etc/password 回车

可以看到已经创建普通用户成功,别的就不再检查,创建到此为止。

第二台:[root@hadoop02~]#

执行完之后需要先配置一些准备工作:查看硬限制。

[root@hadoop01~]#ulimit-Hn  

4096

[root@hadoop01~]#

由上面可知,要求我们一般来说要达到65536,所以三台服务器都需要修改。

第一台:

[root@hadoop01~]# vi /etc/security/limits.conf 回车

hadoop soft nofile 65536  

hadoop hard nofile 65536

复制过来,然后保存退出就可以了。

第二台:

[root@hadoop02~]# vi /etc/security/limits.conf 回车

第三台:

[root@hadoop03~]# vi /etc/security/limits.conf 回车

一个系统在操作和运行的过程种,是可能打开文件的,所以文件数要尽可能的的大,但不是越大越好,因为打开的越多,对资源的消耗就越大。

三台服务器都已经修改好了,检查一下是否修改好了。

[root@hadoop03~]#ulimit-Hn  

4096

[root@hadoop03~]#su Hadoop

切换成

[Hadoop@hadoop03 root]$ ulimit-Hn

65536

[Hadoop@hadoop03 root]$  

Password:

[root@hadoop03~]# ulimit-Hn

65536

[root@hadoop03~]#

重新查 ulimit-Hn 看硬限制,会发现数值由4096变成65536。Root 用户切到 hadoop用户,才能察觉到配置信息起作用了。

[root@hadoop03~]#vi /etc/security/limits.d/20-nproc.conf 回车

soft nproc 4096

root  soft nproc unlimited

可以看出对 root 用户是没有限制的,其他用户限制在4096。

[root@hadoop01~]#vi /etc/sysctl.conf  

[root@hadoop02~]#vi /etc/sysctl.conf  

[root@hadoop03~]#vi /etc/sysctl.conf  

在三台服务器分别添加以下配置并保存:

vm.max_map_count=655360

并在三台服务器依次执行命令:

sysct1-p

可以看到数量已经出来了。

选择服务器 hadoop01 开始解压,

[root@hadoop01~]# tar-zxvf/home/elasticsearch-6.5.3.tar.gz-C/usr/local 回车

解压之后

[root@hadoop01~]#cd/usr/local/ elasticsearch-6.5.3/ 回车

可以看到里面也有一个 config,这个配置之前说过很多次了。

[root@hadoop01 elasticsearch-6.5.3]# ll./bin/ 回车

在启动 elasticsearch 的时候需要使用这个命令,那么安装的准备工作到此就算结束了。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
8月前
|
存储 安全 Linux
TiDB安装准备工作与基础环境搭建
【2月更文挑战第28天】TiDB安装前需满足硬件(足够CPU、内存、存储)和软件(Linux,推荐CentOS 7+)要求,确保网络稳定性。配置包括设置唯一主机名,关闭防火墙和SELinux,同步NTP,创建TiDB用户和目录。下载官方安装包并验证后,解压,配置环境变量,初始化集群,启动服务并验证运行状态。稳定的环境对发挥TiDB性能至关重要。
|
1月前
|
监控 Docker 容器
Docker Swarm集群的扩展与缩容策略,涵盖其意义、方法、步骤及注意事项
本文深入探讨了Docker Swarm集群的扩展与缩容策略,涵盖其意义、方法、步骤及注意事项,旨在帮助用户高效管理集群资源,适应业务变化,确保服务稳定性和资源优化。
61 6
|
3月前
|
编译器 C语言 C++
配置C++的学习环境
【10月更文挑战第18天】如果想要学习C++语言,那就需要配置必要的环境和相关的软件,才可以帮助自己更好的掌握语法知识。 一、本地环境设置 如果您想要设置 C++ 语言环境,您需要确保电脑上有以下两款可用的软件,文本编辑器和 C++ 编译器。 二、文本编辑器 通过编辑器创建的文件通常称为源文件,源文件包含程序源代码。 C++ 程序的源文件通常使用扩展名 .cpp、.cp 或 .c。 在开始编程之前,请确保您有一个文本编辑器,且有足够的经验来编写一个计算机程序,然后把它保存在一个文件中,编译并执行它。 Visual Studio Code:虽然它是一个通用的文本编辑器,但它有很多插
|
运维 关系型数据库 MySQL
【运维知识进阶篇】集群架构-Nginx实现基础web架构(Linux+Nginx+PHP+Mysql)(二)
【运维知识进阶篇】集群架构-Nginx实现基础web架构(Linux+Nginx+PHP+Mysql)(二)
252 0
|
存储 安全 Linux
linuxnfs服务安装与配置实践
linuxnfs服务安装与配置实践
228 1
|
运维 监控 应用服务中间件
【运维知识进阶篇】集群架构-Nginx基础(安装+启动+配置+多业务实现+日志管理)(下)
【运维知识进阶篇】集群架构-Nginx基础(安装+启动+配置+多业务实现+日志管理)(下)
226 0
|
存储 运维 前端开发
【运维知识进阶篇】集群架构-Nginx基础(安装+启动+配置+多业务实现+日志管理)(上)
【运维知识进阶篇】集群架构-Nginx基础(安装+启动+配置+多业务实现+日志管理)
237 0
|
运维 关系型数据库 MySQL
【运维知识进阶篇】集群架构-Nginx实现基础web架构(Linux+Nginx+PHP+Mysql)(一)
【运维知识进阶篇】集群架构-Nginx实现基础web架构(Linux+Nginx+PHP+Mysql)
231 0
|
Kubernetes Docker 容器
虚拟机搭建安装Pulsar环境教程(开发测试使用)
虚拟机搭建安装Pulsar环境教程(开发测试使用)
196 0
|
存储 缓存 编解码
白话Elasticsearch68-ES生产集群部署重要的操作系统设置
白话Elasticsearch68-ES生产集群部署重要的操作系统设置
372 0