备案控制台
探索云世界
开发者社区 开发与运维 文章 正文

Linux环境快速搭建elasticsearch6.5.4集群和Head插件

2022-07-28 182
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月
推荐场景：
数据可视化分析航班信息
简介： 今天来一起实战Linux环境下搭建elasticsearch6.5.4集群和Head插件

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)： https://github.com/zq2599/blog_demos
  • 今天来一起实战Linux环境下搭建elasticsearch6.5.4集群和Head插件；

环境信息

  • 操作系统：Ubuntu 16.04.5 LTS
  • JDK：1.8.0_191
  • elasticsearch：6.5.4
  • nodejs：v10.15.0
  • 本次实战准备了两台机器，它们的基本情况如下所示：
IP地址 hostname 备注
192.168.119.152 node-0 节点0
192.168.119.153 node-1 节点1

操作步骤整理

  • 整个实战由以下操作步骤组成，注意：有的步骤需要在两台机器上都要做，在具体操作的地方，我会用红字说明：
  1. 修改主机名；
  2. 修改hosts;
  3. 修改linux文件描述符限制；
  4. 修改最大线程数限制；
  5. 修改内存限制；
  6. 安装JDK；
  7. 创建用户；
  8. 给es用户增加sudo权限
  9. 安装elasticsearch；
  10. 在node-0机器安装nodejs
  11. 设置elasticsearch；
  12. 启动elasticsearch
  13. 安装head组件（只在node-0上安装）
  14. 验证

修改主机名

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • 打开文件/etc/hostname，将内容修改为本次实战所需的hostname(node-0和node-1)；

修改hosts

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • 打开文件令/etc/hosts，增加以下两行，读者请注意改为自己机器的IP地址：
192.168.119.152 node-0
192.168.119.153 node-1

修改linux文件描述符限制

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • 执行命令ulimit -Hn，查看硬限制：
[root@localhost es]# ulimit -Hn
4096
  • 执行命令ulimit -Sn，查看软限制(程序中可以提升)：
[root@localhost es]# ulimit -Sn
1024
  • 上述限制会导致elasticsearch启动失败，所以需要调整；
  • 打开文件/etc/security/limits.conf，增加以下两行设置（注意，如果是已有配置就修改对应的值）：
*               soft    nofile           65536
*               hard    nofile           65536
  • 修改完成后退出重新登录，再次查看发现配置已经生效：
[root@localhost ~]# ulimit -Hn
65536
[root@localhost ~]# ulimit -Sn
65536

修改最大线程数限制

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • 打开文件/etc/security/limits.conf，增加以下两行设置（注意，如果是已有配置就修改对应的值）：
*               soft    nproc           4096
*               hard    nproc           4096
  • 修改完毕后，需要重启才会生效；

修改内存限制

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • 修改进程中内存映射区域的最大数量，修改/etc/sysctl.conf文件，增加以下配置（注意，如果是已有配置就修改对应的值）：
vm.max_map_count=262144
  • 修改完成后，重启生效；

安装JDK

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • 在官网下载JDK，地址是https://www.oracle.com/technetwork/java/index.html，在上面选择合适的版本下载；
  • 将下载的JDK安装文件放在目录/usr/lib/jvm，解压；
  • 我这边JDK解压后的完整路径是/usr/lib/jvm/jdk1.8.0_191，在/etc/profile文件增加以下内容：
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
  • 修改完毕后执行命令source /etc/profile使设置立即生效，执行java -version查看设置是否成功：
[root@localhost jdk1.8.0_191]# java -version
java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)

创建用户

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • es不允许root用户启动应用，因此需要创建用户：
  1. 执行命令useradd es，即可创建用户es;
  2. 执行命令passwd es，按照提示修改用户密码;

给es用户增加sudo权限

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • 给文件/etc/sudoers增加写权限:
chmod a+w /etc/sudoers
  • 打开文件/etc/sudoers；
  • 增加以下一行内容：
es      ALL=(ALL:ALL) ALL
  • 保存后，修改sudoers文件的权限：
chmod 440 /etc/sudoers

安装elasticsearch

chown -R es:es /usr/local/work/es/elasticsearch-6.5.4
  • 执行ls命令确认一下所属用户和群组：
root@node-0:/usr/local/work/es# ls -al
total 12
drwxr-xr-x 3 root root 4096 Jan 11 18:54 .
drwxr-xr-x 6 root root 4096 Jan 11 18:43 ..
drwxr-xr-x 8 es   es   4096 Dec 17 13:21 elasticsearch-6.5.4

在node-0机器安装nodejs

  • 在node-0机器安装nodejs，详细的操作步骤请参照文章《Ubuntu16安装nodejs10》，其实就是下载、解压、设置等操作，很快就能完成；
  • 执行以下命令，确保es账号能访问nodejs目录，是nodejs安装的目录：
sudo chmod 777 -R /usr/local/work/nodejs/node-v10.15.0-linux-x64

设置elasticsearch

  • 打开node-0机器的文件，新增或者修改以下配置信息：
参数名 参数值 作用
cluster.name boling_cavalry 集群名称
node.name node-0 节点名字
network.host 0.0.0.0 绑定IP
http.port 9200 服务端口
discovery.zen.ping.unicast.hosts ["node-0", "node-1"] 集群节点主机的host
discovery.zen.minimum_master_nodes 1 一个节点需要看到的具有master节点资格的最小数量，
当前有两台机器，只能设置为1
http.cors.enabled true head插件配置
http.cors.allow-origin "*" head插件配置
  • 打开node-1机器的文件，新增或者修改以下配置信息：
参数名 参数值 作用
cluster.name boling_cavalry 集群名称
node.name node-1 节点名字
network.host 0.0.0.0 绑定IP
http.port 9200 服务端口
discovery.zen.ping.unicast.hosts ["node-0", "node-1"] 集群节点主机的host
discovery.zen.minimum_master_nodes 1 一个节点需要看到的具有master节点资格的最小数量，
当前有两台机器，只能设置为1
http.cors.enabled true head插件配置
http.cors.allow-origin "*" head插件配置
  • 两台机器的配置中，只有node.name这个参数的值不同，其他的一模一样，在node-0机器上修改后的elasticsearch.yml文件如下所示：

在这里插入图片描述

启动elasticsearch

  • 如果当前用户是root，执行命令su - es，切换到es用户；
  • 执行以下命令启动node-0的elasticsearch：
/usr/local/work/es/elasticsearch-6.5.4/bin/elasticsearch
  • 在node-1机器上执行步骤1和2，node-1的elasticsearch启动成功后，在node-0的控制台可以看到node-1加入集群的信息如下：
[2019-01-11T19:54:02,548][INFO ][o.e.c.s.MasterService    ] [node-0] zen-disco-node-join[{node-1}{bYrSztiTTzOi_SLAW_UdkA}{pC5ozVjZQF-jtHTWwyOXJA}{192.168.119.153}{192.168.119.153:9300}{ml.machine_memory=2078556160, ml.max_open_jobs=20, xpack.installed=true, ml.enabled=true}], reason: added {{node-1}{bYrSztiTTzOi_SLAW_UdkA}{pC5ozVjZQF-jtHTWwyOXJA}{192.168.119.153}{192.168.119.153:9300}{ml.machine_memory=2078556160, ml.max_open_jobs=20, xpack.installed=true, ml.enabled=true},}
[2019-01-11T19:54:03,206][INFO ][o.e.c.s.ClusterApplierService] [node-0] added {{node-1}{bYrSztiTTzOi_SLAW_UdkA}{pC5ozVjZQF-jtHTWwyOXJA}{192.168.119.153}{192.168.119.153:9300}{ml.machine_memory=2078556160, ml.max_open_jobs=20, xpack.installed=true, ml.enabled=true},}, reason: apply cluster state (from master [master {node-0}{Qc3orkESRHSTTySc2DSJyA}{p0rWBQu_TweRS3TofB4NMA}{192.168.119.152}{192.168.119.152:9300}{ml.machine_memory=2078556160, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true} committed version [15] source [zen-disco-node-join[{node-1}{bYrSztiTTzOi_SLAW_UdkA}{pC5ozVjZQF-jtHTWwyOXJA}{192.168.119.153}{192.168.119.153:9300}{ml.machine_memory=2078556160, ml.max_open_jobs=20, xpack.installed=true, ml.enabled=true}]]])
[2019-01-11T19:54:03,209][WARN ][o.e.d.z.ElectMasterService] [node-0] value for setting "discovery.zen.minimum_master_nodes" is too low. This can result in data loss! Please set it to at least a quorum of master-eligible nodes (current value: [1], total number of master-eligible nodes used for publishing in this round: [2])
  • 在浏览器上访问192.168.119.153:9300，可以返回基本信息如下图所示：

在这里插入图片描述

  • 至此，elasticsearch集群搭建成功，接下来安装head组件；

安装head组件（只在node-0上安装）

在这里插入图片描述

  • 下载到本地的是个名为elasticsearch-head-master的文件夹，放在目录/usr/local/work/es之下；
  • 确保文件夹的权限属于用户es，以下命令以root账号身份执行：
chown -R es:es /usr/local/work/es/elasticsearch-head-master
  • 以es账号的身份，在elasticsearch-head-master文件夹下执行命令npm install -g grunt-cli：
$ cd ../es/elasticsearch-head-master/
$ npm install -g grunt-cli
/usr/local/work/nodejs/node-v10.15.0-linux-x64/bin/grunt -> /usr/local/work/nodejs/node-v10.15.0-linux-x64/lib/node_modules/grunt-cli/bin/grunt
+ grunt-cli@1.3.2
added 152 packages from 122 contributors in 18.241s
  • 上述命令安装了grunt-cli，是用于构建的，接下来安装head；
  • 在elasticsearch-head-master文件夹下执行命令npm install，用于安装head，由于网络问题有可能安装失败，提示信息类似以下：
$ npm install
npm WARN deprecated coffee-script@1.10.0: CoffeeScript on NPM has moved to "coffeescript" (no hyphen)
npm WARN deprecated http2@3.3.7: Use the built-in module in node 9.0.0 or newer, instead

> phantomjs-prebuilt@2.1.16 install /usr/local/work/es/elasticsearch-head-master/node_modules/phantomjs-prebuilt
> node install.js

PhantomJS not found on PATH
Downloading https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
Saving to /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2
Receiving...

Error making request.
Error: connect ECONNREFUSED 52.216.82.80:443
    at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1117:14)

Please report this full log at https://github.com/Medium/phantomjs
npm WARN elasticsearch-head@0.0.0 license should be a valid SPDX license expression
npm WARN optional SKIPPING OPTIONAL DEPENDENCY: fsevents@1.2.4 (node_modules/fsevents):
npm WARN notsup SKIPPING OPTIONAL DEPENDENCY: Unsupported platform for fsevents@1.2.4: wanted {"os":"darwin","arch":"any"} (current: {"os":"linux","arch":"x64"})

npm ERR! code ELIFECYCLE
npm ERR! errno 1
npm ERR! phantomjs-prebuilt@2.1.16 install: `node install.js`
npm ERR! Exit status 1
npm ERR! 
npm ERR! Failed at the phantomjs-prebuilt@2.1.16 install script.
npm ERR! This is probably not a problem with npm. There is likely additional logging output above.

npm ERR! A complete log of this run can be found in:
npm ERR!     /.npm/_logs/2019-01-12T05_41_50_161Z-debug.log
  • 出现此问题时建议重试几次，成功后的提示信息如下：
$ npm install

> phantomjs-prebuilt@2.1.16 install /usr/local/work/es/elasticsearch-head-master/node_modules/phantomjs-prebuilt
> node install.js

PhantomJS not found on PATH
Downloading https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
Saving to /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2
Receiving...
  [=====================================---] 93%
Received 22866K total.
Extracting tar contents (via spawned process)
Removing /usr/local/work/es/elasticsearch-head-master/node_modules/phantomjs-prebuilt/lib/phantom
Copying extracted folder /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2-extract-1547271795685/phantomjs-2.1.1-linux-x86_64 -> /usr/local/work/es/elasticsearch-head-master/node_modules/phantomjs-prebuilt/lib/phantom
Writing location.js file
Done. Phantomjs binary available at /usr/local/work/es/elasticsearch-head-master/node_modules/phantomjs-prebuilt/lib/phantom/bin/phantomjs
npm notice created a lockfile as package-lock.json. You should commit this file.
npm WARN elasticsearch-head@0.0.0 license should be a valid SPDX license expression
npm WARN optional SKIPPING OPTIONAL DEPENDENCY: fsevents@1.2.4 (node_modules/fsevents):
npm WARN notsup SKIPPING OPTIONAL DEPENDENCY: Unsupported platform for fsevents@1.2.4: wanted {"os":"darwin","arch":"any"} (current: {"os":"linux","arch":"x64"})

added 67 packages from 69 contributors and audited 1751 packages in 16.681s
found 24 vulnerabilities (17 low, 1 moderate, 6 high)
  run `npm audit fix` to fix them, or `npm audit` for details
  • 在elasticsearch-head-master文件夹下执行命令grunt server，启动head，控制台提示如下：
$ grunt server
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

在这里插入图片描述

验证

  • 这里我用的是postman来验证基本功能，读者请选择自己熟悉的http工具，或者写代码来执行；
  • 新建所以的操作如下图，选择类型为PUT，地址是：http://192.168.119.152:9200/test001

在这里插入图片描述

  • 上图中，红框4是elasticsearch的响应信息，表示创建成功；
  • 去head的操作页面，点击下图红框中的“连接”按钮，可见最新的索引创建情况，以及副本分布：

在这里插入图片描述

  • 至此，Ubuntu16环境搭建elasticsearch6.5.4集群和head插件实战就全部完成了，希望能在您安装的时候提供一些参考。

欢迎关注阿里云开发者社区博客：程序员欣宸

学习路上，你不孤单，欣宸原创一路相伴...
文章标签：
检索分析服务 Elasticsearch版
Java
JavaScript
开发工具
Linux
Ubuntu
数据安全/隐私保护
git
程序员
安全
开发者
关键词：
Linux环境
检索分析服务 Elasticsearch版集群
Linux集群
Linux head
Linux插件
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群，使用DataWorks将MySQL数据同步至Elasticsearch，体验多条件检索效果，简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr（也是基于Lucene）。 ElasticSearch的实现原理主要分为以下几个步骤： 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据 当用户搜索数据时候，再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。
程序员欣宸
目录
相关文章
风水道人
|
25天前
|
JSON Kubernetes Linux
Linux环境签发CA证书和K8s需要的证书
Linux环境签发CA证书和K8s需要的证书
风水道人
23 0
风水道人
|
27天前
|
存储 负载均衡 索引
linux7安装elasticsearch-7.4.0集群配置
linux7安装elasticsearch-7.4.0集群配置
风水道人
113 0
囚徒冇困境
|
1月前
|
存储 缓存 Linux
如何在Linux环境下对pip的缓存地址进行修改
如何在Linux环境下对pip的缓存地址进行修改
囚徒冇困境
60 0
SarPro
|
12天前
|
存储 算法 Linux
【实战项目】网络编程：在Linux环境下基于opencv和socket的人脸识别系统--C++实现
【实战项目】网络编程：在Linux环境下基于opencv和socket的人脸识别系统--C++实现
SarPro
34 6
风水道人
|
26天前
|
应用服务中间件 Linux PHP
Linux下安装php环境并且配置Nginx支持php-fpm模块
Linux下安装php环境并且配置Nginx支持php-fpm模块
风水道人
23 0
风水道人
|
27天前
|
Java Linux
linux安装jdk环境
linux安装jdk环境
风水道人
28 0
泡沫o0
|
1月前
|
NoSQL 编译器 Linux
linux交叉编译环境的配置
linux交叉编译环境的配置
泡沫o0
22 0
小小张自由
|
缓存 Linux
linux 安装插件报错：Loaded plugins: fastestmirror
linux 安装插件报错：Loaded plugins: fastestmirror
小小张自由
337 0
linux 安装插件报错：Loaded plugins: fastestmirror
一个黄金爆头
|
2天前
|
机器学习/深度学习 缓存 监控
linux查看CPU、内存、网络、磁盘IO命令
`Linux`系统中，使用`top`命令查看CPU状态，要查看CPU详细信息，可利用`cat /proc/cpuinfo`相关命令。`free`命令用于查看内存使用情况。网络相关命令包括`ifconfig`（查看网卡状态）、`ifdown/ifup`（禁用/启用网卡）、`netstat`（列出网络连接，如`-tuln`组合）以及`nslookup`、`ping`、`telnet`、`traceroute`等。磁盘IO方面，`iostat`（如`-k -p ALL`）显示磁盘IO统计，`iotop`（如`-o -d 1`）则用于查看磁盘IO瓶颈。
一个黄金爆头
39 10
SarPro
|
12天前
|
NoSQL Linux Shell
常用的 Linux 命令
常用的 Linux 命令
SarPro
35 9

热门文章

最新文章

  • 1
    Linux基础与服务器架构综合小实践
  • 2
    网络名称空间在Linux虚拟化技术中的位置
  • 3
    【Linux系统编程】深入解析Linux中read函数的错误场景
  • 4
    Linux如何检查文件夹的大小？
  • 5
    Linux进程和计划任务管理
  • 6
    Linux系统之watch命令的基本使用
  • 7
    Linux文件编程(open read write close函数)
  • 8
    工作中常用到的Linux命令
  • 9
    Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
  • 10
    【Linux C/C++ 堆内存分布】深入理解Linux进程的堆空间管理
  • 1
    Elasticsearch【问题记录 01】启动服务&停止服务的2类方法【及 java.nio.file.AccessDeniedException: xx/pid 问题解决】（含shell脚本文件）
    24
  • 2
    Elasticsearch【问题记录 02】【不能以root运行es + max virtual memory areas vm.max_map_count [65530] is too low处理】
    16
  • 3
    java 链接Elasticsearch
    6
  • 4
    Elasticsearch如何安装
    23
  • 5
    elasticsearch head、kibana 安装和使用
    25
  • 6
    【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析，实现高效数据同步
    73
  • 7
    ElasticSearch索引 和MySQL索引那个更高效实用那个更合适
    37
  • 8
    SpringBoot集成Elasticsearch
    22
  • 9
    elasticsearch使用java程序添加删除修改
    9
  • 10
    ElasticSearch启动报错，bootstrapchecksfailed
    35

    • 相关课程

    更多
  • Linux MySQL服务器搭建与应用
  • Linux服务器运维基本操作
  • 计算机基础与Linux入门
  • Linux企业运维实战 - 入门及常用命令
  • Linux Shell 编程入门与实战
  • Linux网络进阶 - TCP/IP协议及OSI七层模型

    • 相关电子书

    更多
  • Alibaba Cloud Linux 3 发布
  • ECS系统指南之Linux系统诊断
  • ECS运维指南 之 Linux系统诊断

    • 相关实验场景

    更多
  • 使用计算巢企业应用，一键获取专属的Linux服务器管理软件
  • Alibaba Cloud Linux操作系统的安装及使用
  • Alibaba Cloud Linux操作系统Shell程序
  • 手动部署MySQL数据库（Alibaba Cloud Linux 2）
  • 部署并使用Docker（Alibaba Cloud Linux 3）
  • 部署并使用Docker（Alibaba Cloud Linux 2）

    • 推荐镜像

    更多
  • mxlinux-iso
  • archlinuxarm
  • archlinuxcn
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）