环境篇 ES 集群安装准备工作|学习笔记

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 快速学习环境篇 ES 集群安装准备工作

开发者学堂课程【大数据 Flink 实时旅游平台环境篇 2020版:环境篇 ES 集群安装准备工作】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/643/detail/10698


环境篇 ES 集群安装准备工作

解压 elasticsearch 安装包

Elasticsearch 的版本是6.5.3

在安装的时,还要注意前面的一些问题,比如 es 是要频繁去读写文件的,所以要把文件的数量修改,否则系统会报错。系统都是有最大打开文件数的。

只要是集群的安装,都需要有规划的工作。

准备了三台服务器:

IP

Host

实例

192.168.216.111

Hadoop01

ES 实例

192.168.216.112

Hadoop02

ES 实例

192.168.216.113

Hadoop03

ES 实例

在启动之前要进行普通用户的创建。三台服务器分别创建普通用户 hadoop:

把软件拉到 home 文件夹里。

准备服务器

1.切换到 root 用户:

hadoop 是用户(nofile 是代表最大文件打开数,soft: 警告: hard: 严络)

hadoop soft nofile 65536  

hadoop hard nofile 65536

退出用户重新登录,使配置生效~>reboot 重启虚拟机

第一台:[root@hadoop01~]# useradd Hadoop

切换一下[root@hadoop01~]# su Hadoop 只要能切换过去,我们就算创建成功。

[Hadoop@hadoop01 root]$ su

Password:

切换回root:

[root@hadoop01~]#cat/etc/password 回车

可以看到已经创建普通用户成功,别的就不再检查,创建到此为止。

第二台:[root@hadoop02~]#

执行完之后需要先配置一些准备工作:查看硬限制。

[root@hadoop01~]#ulimit-Hn  

4096

[root@hadoop01~]#

由上面可知,要求我们一般来说要达到65536,所以三台服务器都需要修改。

第一台:

[root@hadoop01~]# vi /etc/security/limits.conf 回车

hadoop soft nofile 65536  

hadoop hard nofile 65536

复制过来,然后保存退出就可以了。

第二台:

[root@hadoop02~]# vi /etc/security/limits.conf 回车

第三台:

[root@hadoop03~]# vi /etc/security/limits.conf 回车

一个系统在操作和运行的过程种,是可能打开文件的,所以文件数要尽可能的的大,但不是越大越好,因为打开的越多,对资源的消耗就越大。

三台服务器都已经修改好了,检查一下是否修改好了。

[root@hadoop03~]#ulimit-Hn  

4096

[root@hadoop03~]#su Hadoop

切换成

[Hadoop@hadoop03 root]$ ulimit-Hn

65536

[Hadoop@hadoop03 root]$  

Password:

[root@hadoop03~]# ulimit-Hn

65536

[root@hadoop03~]#

重新查 ulimit-Hn 看硬限制,会发现数值由4096变成65536。Root 用户切到 hadoop用户,才能察觉到配置信息起作用了。

[root@hadoop03~]#vi /etc/security/limits.d/20-nproc.conf 回车

soft nproc 4096

root  soft nproc unlimited

可以看出对 root 用户是没有限制的,其他用户限制在4096。

[root@hadoop01~]#vi /etc/sysctl.conf  

[root@hadoop02~]#vi /etc/sysctl.conf  

[root@hadoop03~]#vi /etc/sysctl.conf  

在三台服务器分别添加以下配置并保存:

vm.max_map_count=655360

并在三台服务器依次执行命令:

sysct1-p

可以看到数量已经出来了。

选择服务器 hadoop01 开始解压,

[root@hadoop01~]# tar-zxvf/home/elasticsearch-6.5.3.tar.gz-C/usr/local 回车

解压之后

[root@hadoop01~]#cd/usr/local/ elasticsearch-6.5.3/ 回车

可以看到里面也有一个 config,这个配置之前说过很多次了。

[root@hadoop01 elasticsearch-6.5.3]# ll./bin/ 回车

在启动 elasticsearch 的时候需要使用这个命令,那么安装的准备工作到此就算结束了。

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
7月前
|
安全 API 数据库
借助淘宝拍立淘API,打造超便捷商品识别引擎
淘宝拍立淘API是基于图像识别技术的强大工具,允许开发者通过上传商品图片,在淘宝海量数据库中精准查找相关商品。它支持高精度识别、快速响应、丰富结果展示,并易于集成到各类应用中。用户只需上传图片,即可获取商品基本信息及链接,大幅提升搜索效率。该API采用严格安全机制保障数据隐私,同时提供Python等多语言支持,方便开发者调用。体验链接:c0b.cc/R4rbK2。
|
10月前
|
存储 索引
GBase 8a集群视图使用限制
GBase 8a集群视图使用限制
|
人工智能 Kubernetes Cloud Native
阿里云容器服务,全面助力云上体育盛会
本文讲述了阿里云容器服务,通过安全稳定的产品能力和成熟的稳定性保障体系,全面助力云上体育赛场,促进科技之光与五环之光交相辉映。
阿里云容器服务,全面助力云上体育盛会
|
12月前
|
机器学习/深度学习 人工智能 搜索推荐
AI与未来医疗:重塑健康的双刃剑
【10月更文挑战第6天】 人工智能作为现代科技的巅峰之作,已经渗透进我们生活的方方面面。从语音助手到自动驾驶,AI不仅改变了我们的日常,更在各个专业领域,特别是医疗行业,扮演着愈发重要的角色。本文探讨了AI在未来医疗中的应用及其潜在影响,揭示了这把“双刃剑”的机遇与挑战。
336 1
|
人工智能 搜索推荐 vr&ar
【通义】AI视界|美国司法部AI新规:AI犯错,企业承担
本文介绍了最新科技动态,包括Sora视频模型即将迎来重大升级,提升生成速度和质量;Meta发布十年秘密研发的Orion AR眼镜,展现未来计算平台新形态;Runway推出电影扶持计划,资助500万美元支持电影人;Notion AI全新发布,整合多项功能提高生产力;美国司法部发布AI新规,明确企业需对其AI系统的违法行为负责。更多内容,请访问通义官网体验。
|
边缘计算 自动驾驶 物联网
Massive MIMO技术在5G中的应用:开启无线通信的新篇章
Massive MIMO技术在5G中的应用:开启无线通信的新篇章
770 2
|
网络协议 网络架构
【网络工程师配置篇】VRRP与BFD联动配置案例
【网络工程师配置篇】VRRP与BFD联动配置案例
347 1
|
Python
联合概率 边缘概率 条件概率 贝叶斯定理
联合概率 边缘概率 条件概率 贝叶斯定理
238 0
|
编解码 Linux vr&ar
如何使用ffmpeg将.m4a 格式转换为 pcma格式
ffmpeg是一款开源的万能媒体格式转换工具。它包含了非常先进的音频/视频编解码库libavcodec,为了保证高可移植性和编解码质量,libavcodec里很多code都是从头开发的
|
存储 传感器 运维
基于 Tablestore 时序模型构建车联网数据存储
背景最近几年,物联网得到了飞速的发展。在车联网、设备监控、网络监控、快递跟踪等物联网典型场景下,海量监控数据、轨迹数据、传感器数据被生产数来。这些数据产生频率高、数据量大、严重依赖采集时间,是典型的时序数据。传统的数据库是无法应对这种高写入的海量实时数据的,需要使用能够支持时序模型的时序数据库对这些数据进行储存和分析。表格存储时序模型是专门针对时序数据特点,为物联网、车联网等场景设计的。本文基于车
636 0
基于 Tablestore 时序模型构建车联网数据存储