开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版:环境篇 ES 集群安装准备工作】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/643/detail/10698
环境篇 ES 集群安装准备工作
解压 elasticsearch 安装包
Elasticsearch 的版本是6.5.3
在安装的时,还要注意前面的一些问题,比如 es 是要频繁去读写文件的,所以要把文件的数量修改,否则系统会报错。系统都是有最大打开文件数的。
只要是集群的安装,都需要有规划的工作。
准备了三台服务器:
IP |
Host |
实例 |
192.168.216.111 |
Hadoop01 |
ES 实例 |
192.168.216.112 |
Hadoop02 |
ES 实例 |
192.168.216.113 |
Hadoop03 |
ES 实例 |
在启动之前要进行普通用户的创建。三台服务器分别创建普通用户 hadoop:
把软件拉到 home 文件夹里。
准备服务器
1.切换到 root 用户:
hadoop 是用户(nofile 是代表最大文件打开数,soft: 警告: hard: 严络)
hadoop soft nofile 65536
hadoop hard nofile 65536
退出用户重新登录,使配置生效~>reboot 重启虚拟机
第一台:[root@hadoop01~]# useradd Hadoop
切换一下[root@hadoop01~]# su Hadoop
只要能切换过去,我们就算创建成功。
[Hadoop@hadoop01 root]$ su
Password:
切换回root:
[root@hadoop01~]#cat/etc/password
回车
可以看到已经创建普通用户成功,别的就不再检查,创建到此为止。
第二台:[root@hadoop02~]#
执行完之后需要先配置一些准备工作:查看硬限制。
[root@hadoop01~]#ulimit-Hn
4096
[root@hadoop01~]#
由上面可知,要求我们一般来说要达到65536,所以三台服务器都需要修改。
第一台:
[root@hadoop01~]# vi /etc/security/limits.conf
回车
把hadoop soft nofile 65536
hadoop hard nofile 65536
复制过来,然后保存退出就可以了。
第二台:
[root@hadoop02~]# vi /etc/security/limits.conf
回车
第三台:
[root@hadoop03~]# vi /etc/security/limits.conf
回车
一个系统在操作和运行的过程种,是可能打开文件的,所以文件数要尽可能的的大,但不是越大越好,因为打开的越多,对资源的消耗就越大。
三台服务器都已经修改好了,检查一下是否修改好了。
[root@hadoop03~]#ulimit-Hn
4096
[root@hadoop03~]#su Hadoop
切换成
[Hadoop@hadoop03 root]$ ulimit-Hn
65536
[Hadoop@hadoop03 root]$
Password:
[root@hadoop03~]# ulimit-Hn
65536
[root@hadoop03~]#
重新查 ulimit-Hn 看硬限制,会发现数值由4096变成65536。Root 用户切到 hadoop用户,才能察觉到配置信息起作用了。
[root@hadoop03~]#vi /etc/security/limits.d/20-nproc.conf 回车
soft nproc 4096
root soft nproc unlimited
可以看出对 root 用户是没有限制的,其他用户限制在4096。
[root@hadoop01~]#vi /etc/sysctl.conf
[root@hadoop02~]#vi /etc/sysctl.conf
[root@hadoop03~]#vi /etc/sysctl.conf
在三台服务器分别添加以下配置并保存:
vm.max_map_count=655360
并在三台服务器依次执行命令:
sysct1-p
可以看到数量已经出来了。
选择服务器 hadoop01 开始解压,
[root@hadoop01~]# tar-zxvf/home/elasticsearch-6.5.3.tar.gz-C/usr/local
回车
解压之后
[root@hadoop01~]#cd/usr/local/ elasticsearch-6.5.3/
回车
可以看到里面也有一个 config,这个配置之前说过很多次了。
[root@hadoop01 elasticsearch-6.5.3]# ll./bin/
回车
在启动 elasticsearch 的时候需要使用这个命令,那么安装的准备工作到此就算结束了。