AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Linux环境快速搭建elasticsearch6.5.4集群和Head插件

2022-07-28 228
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月
推荐场景：
数据可视化分析航班信息
简介： 今天来一起实战Linux环境下搭建elasticsearch6.5.4集群和Head插件

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)： https://github.com/zq2599/blog_demos
  • 今天来一起实战Linux环境下搭建elasticsearch6.5.4集群和Head插件；

环境信息

  • 操作系统：Ubuntu 16.04.5 LTS
  • JDK：1.8.0_191
  • elasticsearch：6.5.4
  • nodejs：v10.15.0
  • 本次实战准备了两台机器，它们的基本情况如下所示：
IP地址 hostname 备注
192.168.119.152 node-0 节点0
192.168.119.153 node-1 节点1

操作步骤整理

  • 整个实战由以下操作步骤组成，注意：有的步骤需要在两台机器上都要做，在具体操作的地方，我会用红字说明：
  1. 修改主机名；
  2. 修改hosts;
  3. 修改linux文件描述符限制；
  4. 修改最大线程数限制；
  5. 修改内存限制；
  6. 安装JDK；
  7. 创建用户；
  8. 给es用户增加sudo权限
  9. 安装elasticsearch；
  10. 在node-0机器安装nodejs
  11. 设置elasticsearch；
  12. 启动elasticsearch
  13. 安装head组件（只在node-0上安装）
  14. 验证

修改主机名

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • 打开文件/etc/hostname，将内容修改为本次实战所需的hostname(node-0和node-1)；

修改hosts

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • 打开文件令/etc/hosts，增加以下两行，读者请注意改为自己机器的IP地址：
192.168.119.152 node-0
192.168.119.153 node-1

修改linux文件描述符限制

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • 执行命令ulimit -Hn，查看硬限制：
[root@localhost es]# ulimit -Hn
4096
  • 执行命令ulimit -Sn，查看软限制(程序中可以提升)：
[root@localhost es]# ulimit -Sn
1024
  • 上述限制会导致elasticsearch启动失败，所以需要调整；
  • 打开文件/etc/security/limits.conf，增加以下两行设置（注意，如果是已有配置就修改对应的值）：
*               soft    nofile           65536
*               hard    nofile           65536
  • 修改完成后退出重新登录，再次查看发现配置已经生效：
[root@localhost ~]# ulimit -Hn
65536
[root@localhost ~]# ulimit -Sn
65536

修改最大线程数限制

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • 打开文件/etc/security/limits.conf，增加以下两行设置（注意，如果是已有配置就修改对应的值）：
*               soft    nproc           4096
*               hard    nproc           4096
  • 修改完毕后，需要重启才会生效；

修改内存限制

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • 修改进程中内存映射区域的最大数量，修改/etc/sysctl.conf文件，增加以下配置（注意，如果是已有配置就修改对应的值）：
vm.max_map_count=262144
  • 修改完成后，重启生效；

安装JDK

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • 在官网下载JDK，地址是https://www.oracle.com/technetwork/java/index.html，在上面选择合适的版本下载；
  • 将下载的JDK安装文件放在目录/usr/lib/jvm，解压；
  • 我这边JDK解压后的完整路径是/usr/lib/jvm/jdk1.8.0_191，在/etc/profile文件增加以下内容：
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
  • 修改完毕后执行命令source /etc/profile使设置立即生效，执行java -version查看设置是否成功：
[root@localhost jdk1.8.0_191]# java -version
java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)

创建用户

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • es不允许root用户启动应用，因此需要创建用户：
  1. 执行命令useradd es，即可创建用户es;
  2. 执行命令passwd es，按照提示修改用户密码;

给es用户增加sudo权限

  • 注意：以下的操作在node-0和node-1两台机器上都要做
  • 给文件/etc/sudoers增加写权限:
chmod a+w /etc/sudoers
  • 打开文件/etc/sudoers；
  • 增加以下一行内容：
es      ALL=(ALL:ALL) ALL
  • 保存后，修改sudoers文件的权限：
chmod 440 /etc/sudoers

安装elasticsearch

chown -R es:es /usr/local/work/es/elasticsearch-6.5.4
  • 执行ls命令确认一下所属用户和群组：
root@node-0:/usr/local/work/es# ls -al
total 12
drwxr-xr-x 3 root root 4096 Jan 11 18:54 .
drwxr-xr-x 6 root root 4096 Jan 11 18:43 ..
drwxr-xr-x 8 es   es   4096 Dec 17 13:21 elasticsearch-6.5.4

在node-0机器安装nodejs

  • 在node-0机器安装nodejs，详细的操作步骤请参照文章《Ubuntu16安装nodejs10》，其实就是下载、解压、设置等操作，很快就能完成；
  • 执行以下命令，确保es账号能访问nodejs目录，是nodejs安装的目录：
sudo chmod 777 -R /usr/local/work/nodejs/node-v10.15.0-linux-x64

设置elasticsearch

  • 打开node-0机器的文件，新增或者修改以下配置信息：
参数名 参数值 作用
cluster.name boling_cavalry 集群名称
node.name node-0 节点名字
network.host 0.0.0.0 绑定IP
http.port 9200 服务端口
discovery.zen.ping.unicast.hosts ["node-0", "node-1"] 集群节点主机的host
discovery.zen.minimum_master_nodes 1 一个节点需要看到的具有master节点资格的最小数量，
当前有两台机器，只能设置为1
http.cors.enabled true head插件配置
http.cors.allow-origin "*" head插件配置
  • 打开node-1机器的文件，新增或者修改以下配置信息：
参数名 参数值 作用
cluster.name boling_cavalry 集群名称
node.name node-1 节点名字
network.host 0.0.0.0 绑定IP
http.port 9200 服务端口
discovery.zen.ping.unicast.hosts ["node-0", "node-1"] 集群节点主机的host
discovery.zen.minimum_master_nodes 1 一个节点需要看到的具有master节点资格的最小数量，
当前有两台机器，只能设置为1
http.cors.enabled true head插件配置
http.cors.allow-origin "*" head插件配置
  • 两台机器的配置中，只有node.name这个参数的值不同，其他的一模一样，在node-0机器上修改后的elasticsearch.yml文件如下所示：

在这里插入图片描述

启动elasticsearch

  • 如果当前用户是root，执行命令su - es，切换到es用户；
  • 执行以下命令启动node-0的elasticsearch：
/usr/local/work/es/elasticsearch-6.5.4/bin/elasticsearch
  • 在node-1机器上执行步骤1和2，node-1的elasticsearch启动成功后，在node-0的控制台可以看到node-1加入集群的信息如下：
[2019-01-11T19:54:02,548][INFO ][o.e.c.s.MasterService    ] [node-0] zen-disco-node-join[{node-1}{bYrSztiTTzOi_SLAW_UdkA}{pC5ozVjZQF-jtHTWwyOXJA}{192.168.119.153}{192.168.119.153:9300}{ml.machine_memory=2078556160, ml.max_open_jobs=20, xpack.installed=true, ml.enabled=true}], reason: added {{node-1}{bYrSztiTTzOi_SLAW_UdkA}{pC5ozVjZQF-jtHTWwyOXJA}{192.168.119.153}{192.168.119.153:9300}{ml.machine_memory=2078556160, ml.max_open_jobs=20, xpack.installed=true, ml.enabled=true},}
[2019-01-11T19:54:03,206][INFO ][o.e.c.s.ClusterApplierService] [node-0] added {{node-1}{bYrSztiTTzOi_SLAW_UdkA}{pC5ozVjZQF-jtHTWwyOXJA}{192.168.119.153}{192.168.119.153:9300}{ml.machine_memory=2078556160, ml.max_open_jobs=20, xpack.installed=true, ml.enabled=true},}, reason: apply cluster state (from master [master {node-0}{Qc3orkESRHSTTySc2DSJyA}{p0rWBQu_TweRS3TofB4NMA}{192.168.119.152}{192.168.119.152:9300}{ml.machine_memory=2078556160, xpack.installed=true, ml.max_open_jobs=20, ml.enabled=true} committed version [15] source [zen-disco-node-join[{node-1}{bYrSztiTTzOi_SLAW_UdkA}{pC5ozVjZQF-jtHTWwyOXJA}{192.168.119.153}{192.168.119.153:9300}{ml.machine_memory=2078556160, ml.max_open_jobs=20, xpack.installed=true, ml.enabled=true}]]])
[2019-01-11T19:54:03,209][WARN ][o.e.d.z.ElectMasterService] [node-0] value for setting "discovery.zen.minimum_master_nodes" is too low. This can result in data loss! Please set it to at least a quorum of master-eligible nodes (current value: [1], total number of master-eligible nodes used for publishing in this round: [2])
  • 在浏览器上访问192.168.119.153:9300，可以返回基本信息如下图所示：

在这里插入图片描述

  • 至此，elasticsearch集群搭建成功，接下来安装head组件；

安装head组件（只在node-0上安装）

在这里插入图片描述

  • 下载到本地的是个名为elasticsearch-head-master的文件夹，放在目录/usr/local/work/es之下；
  • 确保文件夹的权限属于用户es，以下命令以root账号身份执行：
chown -R es:es /usr/local/work/es/elasticsearch-head-master
  • 以es账号的身份，在elasticsearch-head-master文件夹下执行命令npm install -g grunt-cli：
$ cd ../es/elasticsearch-head-master/
$ npm install -g grunt-cli
/usr/local/work/nodejs/node-v10.15.0-linux-x64/bin/grunt -> /usr/local/work/nodejs/node-v10.15.0-linux-x64/lib/node_modules/grunt-cli/bin/grunt
+ grunt-cli@1.3.2
added 152 packages from 122 contributors in 18.241s
  • 上述命令安装了grunt-cli，是用于构建的，接下来安装head；
  • 在elasticsearch-head-master文件夹下执行命令npm install，用于安装head，由于网络问题有可能安装失败，提示信息类似以下：
$ npm install
npm WARN deprecated coffee-script@1.10.0: CoffeeScript on NPM has moved to "coffeescript" (no hyphen)
npm WARN deprecated http2@3.3.7: Use the built-in module in node 9.0.0 or newer, instead

> phantomjs-prebuilt@2.1.16 install /usr/local/work/es/elasticsearch-head-master/node_modules/phantomjs-prebuilt
> node install.js

PhantomJS not found on PATH
Downloading https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
Saving to /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2
Receiving...

Error making request.
Error: connect ECONNREFUSED 52.216.82.80:443
    at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1117:14)

Please report this full log at https://github.com/Medium/phantomjs
npm WARN elasticsearch-head@0.0.0 license should be a valid SPDX license expression
npm WARN optional SKIPPING OPTIONAL DEPENDENCY: fsevents@1.2.4 (node_modules/fsevents):
npm WARN notsup SKIPPING OPTIONAL DEPENDENCY: Unsupported platform for fsevents@1.2.4: wanted {"os":"darwin","arch":"any"} (current: {"os":"linux","arch":"x64"})

npm ERR! code ELIFECYCLE
npm ERR! errno 1
npm ERR! phantomjs-prebuilt@2.1.16 install: `node install.js`
npm ERR! Exit status 1
npm ERR! 
npm ERR! Failed at the phantomjs-prebuilt@2.1.16 install script.
npm ERR! This is probably not a problem with npm. There is likely additional logging output above.

npm ERR! A complete log of this run can be found in:
npm ERR!     /.npm/_logs/2019-01-12T05_41_50_161Z-debug.log
  • 出现此问题时建议重试几次，成功后的提示信息如下：
$ npm install

> phantomjs-prebuilt@2.1.16 install /usr/local/work/es/elasticsearch-head-master/node_modules/phantomjs-prebuilt
> node install.js

PhantomJS not found on PATH
Downloading https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
Saving to /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2
Receiving...
  [=====================================---] 93%
Received 22866K total.
Extracting tar contents (via spawned process)
Removing /usr/local/work/es/elasticsearch-head-master/node_modules/phantomjs-prebuilt/lib/phantom
Copying extracted folder /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2-extract-1547271795685/phantomjs-2.1.1-linux-x86_64 -> /usr/local/work/es/elasticsearch-head-master/node_modules/phantomjs-prebuilt/lib/phantom
Writing location.js file
Done. Phantomjs binary available at /usr/local/work/es/elasticsearch-head-master/node_modules/phantomjs-prebuilt/lib/phantom/bin/phantomjs
npm notice created a lockfile as package-lock.json. You should commit this file.
npm WARN elasticsearch-head@0.0.0 license should be a valid SPDX license expression
npm WARN optional SKIPPING OPTIONAL DEPENDENCY: fsevents@1.2.4 (node_modules/fsevents):
npm WARN notsup SKIPPING OPTIONAL DEPENDENCY: Unsupported platform for fsevents@1.2.4: wanted {"os":"darwin","arch":"any"} (current: {"os":"linux","arch":"x64"})

added 67 packages from 69 contributors and audited 1751 packages in 16.681s
found 24 vulnerabilities (17 low, 1 moderate, 6 high)
  run `npm audit fix` to fix them, or `npm audit` for details
  • 在elasticsearch-head-master文件夹下执行命令grunt server，启动head，控制台提示如下：
$ grunt server
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

在这里插入图片描述

验证

  • 这里我用的是postman来验证基本功能，读者请选择自己熟悉的http工具，或者写代码来执行；
  • 新建所以的操作如下图，选择类型为PUT，地址是：http://192.168.119.152:9200/test001

在这里插入图片描述

  • 上图中，红框4是elasticsearch的响应信息，表示创建成功；
  • 去head的操作页面，点击下图红框中的“连接”按钮，可见最新的索引创建情况，以及副本分布：

在这里插入图片描述

  • 至此，Ubuntu16环境搭建elasticsearch6.5.4集群和head插件实战就全部完成了，希望能在您安装的时候提供一些参考。

欢迎关注阿里云开发者社区博客：程序员欣宸

学习路上，你不孤单，欣宸原创一路相伴...
文章标签：
检索分析服务 Elasticsearch版
Java
JavaScript
开发工具
Linux
Ubuntu
数据安全/隐私保护
git
程序员
安全
开发者
关键词：
检索分析服务 Elasticsearch版集群
Linux环境
Linux Elasticsearch
Linux head
linux检索分析服务 Elasticsearch版
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群，使用DataWorks将MySQL数据同步至Elasticsearch，体验多条件检索效果，简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr（也是基于Lucene）。 ElasticSearch的实现原理主要分为以下几个步骤： 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据 当用户搜索数据时候，再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。
程序员欣宸
目录
相关文章
江湖有缘
|
2月前
|
Web App开发 搜索推荐 Unix
Linux系统之MobaXterm远程连接centos的GNOME桌面环境
【10月更文挑战第21天】Linux系统之MobaXterm远程连接centos的GNOME桌面环境
江湖有缘
252 4
Linux系统之MobaXterm远程连接centos的GNOME桌面环境
龙大吉
|
17天前
|
监控 Linux 开发者
如何在 Linux 中优雅的使用 head 命令，用来看日志简直溜的不行
`head` 命令是 Linux 系统中一个非常实用的工具，用于快速查看文件的开头部分内容。本文介绍了 `head` 命令的基本用法、高级用法、实际应用案例及注意事项，帮助用户高效处理文件和日志，提升工作效率。
龙大吉
26 7
土木林森
|
17天前
|
存储 安全 数据管理
如何在 Rocky Linux 8 上安装和配置 Elasticsearch
本文详细介绍了在 Rocky Linux 8 上安装和配置 Elasticsearch 的步骤，包括添加仓库、安装 Elasticsearch、配置文件修改、设置内存和文件描述符、启动和验证 Elasticsearch，以及常见问题的解决方法。通过这些步骤，你可以快速搭建起这个强大的分布式搜索和分析引擎。
土木林森
34 5
潇洒洒
|
17天前
|
关系型数据库 MySQL Linux
Linux环境下MySQL数据库自动定时备份实践
数据库备份是确保数据安全的重要措施。在Linux环境下，实现MySQL数据库的自动定时备份可以通过多种方式完成。本文将介绍如何使用`cron`定时任务和`mysqldump`工具来实现MySQL数据库的每日自动备份。
潇洒洒
38 3
最好zzz
|
17天前
|
监控 关系型数据库 MySQL
Linux环境下MySQL数据库自动定时备份策略
在Linux环境下，MySQL数据库的自动定时备份是确保数据安全和可靠性的重要措施。通过设置定时任务，我们可以每天自动执行数据库备份，从而减少人为错误和提高数据恢复的效率。本文将详细介绍如何在Linux下实现MySQL数据库的自动定时备份。
最好zzz
29 3
游客g5tp3lgf24cqc
|
2月前
|
Ubuntu 应用服务中间件 Linux
Linux下搭建Nginx环境的搭建
Linux下搭建Nginx环境的搭建
游客g5tp3lgf24cqc
62 6
wljslmz
|
28天前
|
Linux UED iOS开发
2024 年最佳 10 个 Linux 桌面环境，你钟意那个？
10月更文挑战第24天】
wljslmz
52 0
2024 年最佳 10 个 Linux 桌面环境，你钟意那个？
小小张自由
|
缓存 Linux
linux 安装插件报错：Loaded plugins: fastestmirror
linux 安装插件报错：Loaded plugins: fastestmirror
小小张自由
592 0
linux 安装插件报错：Loaded plugins: fastestmirror
土木林森
|
12天前
|
监控 Linux
如何检查 Linux 内存使用量是否耗尽？这 5 个命令堪称绝了！
本文介绍了在Linux系统中检查内存使用情况的5个常用命令：`free`、`top`、`vmstat`、`pidstat` 和 `/proc/meminfo` 文件，帮助用户准确监控内存状态，确保系统稳定运行。
土木林森
97 6
龙大吉
|
13天前
|
Linux
在 Linux 系统中，“cd”命令用于切换当前工作目录
在 Linux 系统中，“cd”命令用于切换当前工作目录。本文详细介绍了“cd”命令的基本用法和常见技巧，包括使用“.”、“..”、“~”、绝对路径和相对路径，以及快速切换到上一次工作目录等。此外，还探讨了高级技巧，如使用通配符、结合其他命令、在脚本中使用，以及实际应用案例，帮助读者提高工作效率。
龙大吉
52 3

热门文章

最新文章

  • 1
    ElasticSearch容器化从0到1实践（一）
  • 2
    （ElasticsSearch学习）歌词检索Demo的实现：二. 搭建spring boot+spring data+jest+elasticsearch环境，实现歌词的全文检索
  • 3
    实战 | Elasticsearch打造知识库检索系统
  • 4
    elasticsearch 特殊字段
  • 5
    logstash-input-jdbc实现mysql 与elasticsearch实时同步深入详解
  • 6
    史上最详细Docker安装Elasticsearch、ik分词器、可视化工具，每一步都带有步骤图！！！
  • 7
    第 22 章 Elasticsearch API
  • 8
    Elasticsearch实战(四)-Kibana常见RESTful API操作
  • 9
    elasticsearch6.8.2设置集群认证
  • 10
    ElasticSearch查询 第三篇：词条查询
  • 1
    服务器Linux系统配置mysql数据库主从自动备份
    203
  • 2
    Linux文件系统
    56
  • 3
    Linux内核基础知识
    73
  • 4
    Linux网络编程 网络基础知识
    65
  • 5
    Linux系统编程之文件编程常用API回顾和文件编程一般步骤
    74
  • 6
    linux静态库，动态库总结
    54
  • 7
    linux守护进程介绍 | Linux的热拔插UDEV机制
    71
  • 8
    基于linux串口实现语音刷抖音
    70
  • 9
    linux下实现串口功能
    52
  • 10
    linux下OLED屏开发-IIC协议
    116

    • 相关课程

    更多
  • Linux Web服务器Nginx搭建与配置
  • Linux用户和组管理
  • Linux基本命令
  • Linux企业运维实战 - 入门及常用命令
  • Linux Shell 编程入门与实战
  • Linux网络进阶 - TCP/IP协议及OSI七层模型

    • 相关电子书

    更多
  • Alibaba Cloud Linux 3 发布
  • ECS系统指南之Linux系统诊断
  • ECS运维指南 之 Linux系统诊断

    • 相关实验场景

    更多
  • 如何快速创建插件agent
  • 使用计算巢企业应用，一键获取专属的Linux服务器管理软件
  • 安装配置Terraform环境
  • 基于Elasticsearch向量检索的以文搜图
  • 利用Elasticsearch实现地理位置查询
  • 基于ROS一键安装LAMP环境

    • 推荐镜像

    更多
  • mxlinux-iso
  • archlinuxarm
  • archlinuxcn
    • 下一篇
    无影云桌面