ElasticSearch 概念介绍和部署(中)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Elasticsearch是用Java开发并且是当前最流行的开源的企业级搜索引擎。能够达到实时搜索,稳定,可靠,快速,安装使用方便。

3.Elasticsearch中的核心概念

3.1索引 index


一个索引就是一个拥有几分相似特征的文档的集合。比如说,可以有一个客户数据的索引,另一个产品目录的索引,还有一个订单数据的索引


一个索引由一个名字来标识(必须全部是小写字母的),并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候,都要使用到这个名字

3.2映射 mapping


ElasticSearch中的映射(Mapping)用来定义一个文档


mapping是处理数据的方式和规则方面做一些限制,如某个字段的数据类型、默认值、分词器、是否被索引等等,这些都是映射里面可以设置的

3.3字段Field


相当于是数据表的字段/列

3.4字段类型 Type


每一个字段都应该有一个对应的类型,例如:Text、Keyword、Byte等

3.5文档 document


一个文档是一个可被索引的基础信息单元,类似一条记录。文档以JSON(Javascript Object Notation)格式来表示;

3.6集群 cluster


一个集群就是由一个或多个节点组织在一起,它们共同持有整个的数据,并一起提供索引和搜索功能

3.7节点 node


一个节点是集群中的一个服务器,作为集群的一部分,它存储数据,参与集群的索引和搜索功能一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下,每个节点都会被安排加入到一个叫做“elasticsearch”的集群中这意味着,如果在网络中启动了若干个节点,并假定它们能够相互发现彼此,它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中在一个集群里,可以拥有任意多个节点。而且,如果当前网络中没有运行任何Elasticsearch节点,这时启动一个节点,会默认创建并加入一个叫做“elasticsearch”的集群。

3.8分片和副本 shards&replicas

3.8.1分片


一个索引可以存储超出单个结点硬件限制的大量数据。比如,一个具有10 亿文档的索引占据1TB的磁盘空间,而任一节点都没有这样大的磁盘空间;或者单个节点处理搜索请求,响应太慢为了解决这个问题,Elasticsearch提供了将索引划分成多份的能力,这些份就叫做分片当创建一个索引的时候,可以指定你想要的分片的数量每个分片本身也是一个功能完善并且独立的“索引”,这个“索引”可以被放置到集群中的任何节点上分片很重要,主要有两方面的原因允许水平分割/扩展你的内容容量允许在分片之上进行分布式的、并行的操作,进而提高性能/吞吐量至于一个分片怎样分布,它的文档怎样聚合回搜索请求,是完全由Elasticsearch管理的,对于作为用户来说,这些都是透明的

3.8.2副本


在一个网络/云的环境里,失败随时都可能发生,在某个分片/节点不知怎么的就处于离线状态,或者由于任何原因消失了,这种情况下,有一个故障转移机制是非常有用并且是强烈推荐的。为此目的,Elasticsearch允许你创建分片的一份或多份拷贝,这些拷贝叫做副本分片,或者直接叫副本


副本之所以重要,有两个主要原因


1)在分片/节点失败的情况下,提供了高可用性。


注意到复制分片从不与原/主要(original/primary)分片置于同一节点上是非常重要的


2)扩展搜索量/吞吐量,因为搜索可以在所有的副本上并行运行每个索引可以被分成多个分片。一个索引有0个或者多个副本


一旦设置了副本,每个索引就有了主分片和副本分片,分片和副本的数量可以在索引创建的时候指定


在索引创建之后,可以在任何时候动态地改变副本的数量,但是不能改变分片的数量

4.安装Elasticsearch

4.1安装Elasticsearch

4.1.1创建普通用户


**ES不能使用root用户来启动,必须使用普通用户来安装启动。**这里我们创建一个普通用户以及定义一些常规目录用于存放我们的数据文件以及安装包等。


创建一个es专门的用户(必须)


使用root用户在服务器执行以下命令


# 创建用户组
groupadd elasticsearch
# 创建用户 hxl, 且设置密码
useradd hxl
passwd hxl
# 创建 es 文件夹
mkdir -p /usr/local/es
# 用户 hxl 添加到 elasticsearch 用户组
usermod ‐G elasticsearch hxl
chown ‐R hxl /usr/local/es/elasticsearch‐7.6.1
# 设置 sudo 全县
# 为了让普通用户有更大的操作权限,我们一般都会给普通用户设置sudo权限,方便普通用户的 操作
# 三台机器使用 root 用户执行 visudo 命令然后为 es 用户添加权限
visudo 
# 在 root ALL=(ALL)ALL一行下面
# 添加 hxl 用户如下:
hxl ALL=(ALL)ALL
# 添加成功保存后切换用户到 hxl 进行操作
su hxl


4.1.2上传压缩包并解压


将es的安装包下载并上传到服务器的/user/local/es路径下,然后进行解压


使用 hxl 用户来执行以下操作,将es安装包上传到指定服务器,并使用es用户执行以下命令解压。


# 解压 elasticsearch
su hxl
cd /user/local
tar ‐zvxf elasticsearch‐7.6.1‐linux‐x86_64.tar.gz ‐C /usr/local/es/


4.1.3修改配置文件

4.1.3.1修改elasticsearch.yml


进入服务器使用 hxl 用户来修改配置文件


cd /usr/local/es/elasticsearch‐7.6.1/config
# 创建日志目录
mkdir ‐p /usr/local/es/elasticsearch‐7.6.1/log
# 创建数据目录
mkdir ‐p /usr/local/es/elasticsearch‐7.6.1/data
# 备份配置文件
cp elasticsearch.yml elasticsearch.yml.bak
# 编辑配置
vim elasticsearch.yml
cluster.name: hxl‐es
node.name: node1
path.data: /usr/local/es/elasticsearch‐7.6.1/data
path.logs: /usr/local/es/elasticsearch‐7.6.1/log
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["服务器IP"]
cluster.initial_master_nodes: ["节点名"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow‐origin:"*"

4.1.3.2修改jvm.option


修改jvm.option配置文件,调整jvm堆内存大小


node1.hxl.cn使用 hxl 用户执行以下命令调整jvm堆内存大小,每个人根据自己服务器的内存大小来进行调整。


cd /usr/local/es/elasticsearch‐7.6.1/config
vim jvm.option
-Xms2g
-Xmx2g

4.2修改系统配置,解决启动时候的问题


由于现在使用普通用户来安装es服务,且es服务对服务器的资源要求比较多,包括内存大小,线程数等。所以我们需要给普通用户解开资源的束缚

4.2.1普通用户打开文件的最大数限制


问题错误信息描述:

max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]


ES因为需要大量的创建索引文件,需要大量的打开系统的文件,所以我们需要解除linux系统当中打开文件最大数目的限制,不然ES启动就会抛错


三台机器使用 hxl 用户执行以下命令解除打开文件数据的限制

sudo vi /etc/security/limits.conf


添加如下内容: 注意*不要去掉了


* soft  nofile  65536
* hard  nofile  131072
* soft  nproc 2048
* hard  nproc 4096

4.2.2此文件修改后需要重新登录用户,才会生效


普通用户启动线程数限制


问题错误信息描述


max number of threads [1024] for user [es] likely too low, increase to at least [4096]


修改普通用户可以创建的最大线程数


max number of threads [1024] for user [es] likely too low, increase to at   least [4096]原因:无法创建本地线程问题,用户最大可创建线程数太小解决方案: 修改90-nproc.conf 配置文件。


三台机器使用 hxl 用户执行以下命令修改配置文件


# CentOS6
sudo vi /etc/security/limits.d/90‐nproc.conf
# CentOS7
sudo vi /etc/security/limits.d/20‐nproc.conf


找到如下内容:


* soft  nproc 1024#修改为
* soft  nproc 4096

4.2.3普通用户调大虚拟内存


错误信息描述:

max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]


调大系统的虚拟内存


原因:最大虚拟内存太小


每次启动机器都手动执行下。三台机器执行以下命令


# 编辑 sysctl
vim /etc/sysctl.conf
# 追加以下内容:
vm.max_map_count=262144
# 保存后,执行:
sysctl ‐p


备注:以上三个问题解决完成之后,重新连接secureCRT或者重新连接xshell生效


相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
1月前
|
存储 分布式计算 大数据
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
59 3
|
25天前
|
测试技术 API 开发工具
ElasticSearch核心概念:倒排索引
ElasticSearch核心概念:倒排索引
52 6
|
1月前
|
SQL 分布式计算 大数据
大数据-168 Elasticsearch 单机云服务器部署运行 详细流程
大数据-168 Elasticsearch 单机云服务器部署运行 详细流程
55 2
|
1月前
|
JSON 关系型数据库 API
ElasticSearch 的概念解析与使用方式(二)
ElasticSearch 的概念解析与使用方式(二)
25 1
|
1月前
|
存储 搜索推荐 Java
ElasticSearch 的概念解析与使用方式(一)
ElasticSearch 的概念解析与使用方式(一)
64 1
|
2月前
|
NoSQL 关系型数据库 Redis
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
mall在linux环境下的部署(基于Docker容器),docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongodb、minio详细教程,拉取镜像、运行容器
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
|
3月前
|
存储 运维 搜索推荐
运维开发.索引引擎ElasticSearch.倒序索引的概念
运维开发.索引引擎ElasticSearch.倒序索引的概念
53 1
|
3月前
|
Kubernetes 容器 Perl
k8s 部署 elasticsearch 单节点
k8s 部署 elasticsearch 单节点
|
3月前
|
JSON 测试技术 API
黑马商城 Elasticsearch从入门到部署 RestClient操作文档
这篇文章详细介绍了如何使用Java的RestHighLevelClient客户端与Elasticsearch进行文档操作,包括新增、查询、删除、修改文档以及批量导入文档的方法,并提供了相应的代码示例和操作步骤。
|
3月前
|
JSON 自然语言处理 Java
Elasticsearch从入门到部署 文档操作 RestAPI
这篇文章详细介绍了Elasticsearch中文档的增删改查操作,并通过Java的RestHighLevelClient客户端演示了如何通过REST API与Elasticsearch进行交云,包括初始化客户端、索引库的创建、删除和存在性判断等操作。
下一篇
无影云桌面