elasticsearch 索引存储深入详解

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 1、关于ES index存储在内存的问题?(1)早期ES1.X版本对ES索引存储介绍:

原文地址:

https://www.elastic.co/guide/en/elasticsearch/reference/1.4/index-modules-store.html

ES1.X存储模块可以控制索引数据的存储方式,索引可以存储在内存和磁盘上。使用内存方式可以得到更好的性能,但受限于实际的可用的物理内存大小。

早期ES1.X版本有选项将索引存储到内存中,但是相比基于mmap的存储方式,这种方式并没有改善性能,所以在ES2.X版本中Memory存储类型已经被删除。


(2)最新的ES2.X版本(截止:2016-08-08)索引存储介绍:

原文地址:

https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-store.html

ES2.X版本中该Memeory选项已经被删除。

现在ES2.X中在内存中映射索引使用mmap 系统调用。

并且ES的大牛也都推荐就索引存储而言,使用缺省默认值default_fs。

image.png

2、ES2.X文件系统存储类型

基于文件系统的存储是默认索引存储方式。有不同的实现或存储类型。最好的一个操作系统的自动选择是:mmapfs使用在Windows的64bit系统上,simplefs使用在windows的32bit系统上,除此之外默认是用(hybrid niofs 和 mmapfs)。


可以通过修改配置文件elasticsearch.yml来指定存储类型:

index.store.type: niofs


当然也可以在创建索引的时候指定:


curl -XPUT localhost:9200/my_index -d '{

 "settings": {

 "index.store.type": "niofs"

 }

}';

1

2

3

4

5

下面是所有支持的不同存储类型:


(1) Simple FS(简单文件系统)

Simplefs类型是一个简单的实现随机访问文件的文件存储系统(映射到Lucene SimpleFsDirectory的)。该实现的并发性能较差(多线程是个瓶颈)。当你需要将索引持久化,最好使用niofs。


(2) NIO FS(NIO文件系统)

niofs类型是通过NIO将分片索引文件写到文件系统上(映射到Lucene NIOFSDirectory)。它允许多线程同时读取文件。不建议在Windows系统上使用,由于SUN JAVA实现上的一个错误。


(3) MMap FS(内存映射文件系统)

mmapfs类型存储分片索引到文件系统上(映射到Lucene MMapDirectory)通过映射文件到内存中(MMAP)。

内存映射的过程中将划分出与被映射文件大小一样的虚拟内存空间。使用这个类之前,请确保您有足够的虚拟地址空间。


Linux下虚拟内存设置:


# sysctl -w vm.max_map_count=262144

1

永久生效:


update the vm.max_map_count setting in /etc/sysctl.conf.

 # echo "vm.max_map_count=262144" >> /etc/sysctl.conf && sysctl -p

1

2

(4)Hybrid MMap / NIO FS(缺省值, default_fs)

default_fs默认的类型是NIO FS和MMapFS,它将为每个类型的文件选择最好的文件系统。 目前,只有Lucene的term 路径和DOC值的文件被存储器映射,以降低运行系统的影响。所有其他文件都使用Lucene NIOFSDirectory打开。如果你的term字典很大,地址空间设置(部分叫做“虚拟内存编辑“)也可能适用,。


3、ES索引存储小结

一句话总结:

在2.X版本,用户无需关注索引存储在内存中还是存储在硬盘中。使用默认的存储设置default_fs,以达到最优性能

在Windows的64bit系统上使用 mmapfs ;

在windows的32bit系统上使用 simplefs ;

除此之外默认使用 default_fs (hybrid niofs 和 mmapfs),如Linux系统。


4、细节讨论

https://discuss.elastic.co/t/how-to-set-elasticsearch-index-store/57556/2

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
12天前
|
自然语言处理 大数据 应用服务中间件
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
41 5
|
12天前
|
存储 分布式计算 大数据
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
46 3
|
2月前
|
存储 API 数据库
检索服务elasticsearch索引(Index)
【8月更文挑战第23天】
56 6
|
5天前
|
存储 监控 分布式数据库
百亿级存储架构: ElasticSearch+HBase 海量存储架构与实现
本文介绍了百亿级数据存储架构的设计与实现,重点探讨了ElasticSearch和HBase的结合使用。通过ElasticSearch实现快速检索,HBase实现海量数据存储,解决了大规模数据的高效存储与查询问题。文章详细讲解了数据统一接入、元数据管理、数据一致性及平台监控等关键模块的设计思路和技术细节,帮助读者理解和掌握构建高性能数据存储系统的方法。
百亿级存储架构: ElasticSearch+HBase 海量存储架构与实现
|
4月前
|
存储 JSON 监控
Elasticsearch索引监控全面解析
Elasticsearch索引监控全面解析
|
1月前
|
JSON 自然语言处理 数据库
ElasticSearch基础1——索引和文档。Kibana,RestClient操作索引和文档+黑马旅游ES库导入
概念、ik分词器、倒排索引、索引和文档的增删改查、RestClient对索引和文档的增删改查
ElasticSearch基础1——索引和文档。Kibana,RestClient操作索引和文档+黑马旅游ES库导入
|
1月前
|
存储 搜索推荐 数据建模
Elasticsearch 的数据建模与索引设计
【9月更文第3天】Elasticsearch 是一个基于 Lucene 的搜索引擎,广泛应用于全文检索、数据分析等领域。为了确保 Elasticsearch 的高效运行,合理的数据建模和索引设计至关重要。本文将探讨如何为不同的应用场景设计高效的索引结构,并分享一些数据建模的最佳实践。
84 2
|
2月前
|
存储 运维 搜索推荐
运维开发.索引引擎ElasticSearch.倒序索引的概念
运维开发.索引引擎ElasticSearch.倒序索引的概念
48 1
|
3月前
|
索引
Elasticsearch 查看磁盘占用 查看指定索引磁盘占用
【7月更文挑战第2天】Elasticsearch 查看磁盘占用 查看指定索引磁盘占用
|
2月前
|
JSON 自然语言处理 数据库
Elasticsearch从入门到项目部署 安装 分词器 索引库操作
这篇文章详细介绍了Elasticsearch的基本概念、倒排索引原理、安装部署、IK分词器的使用,以及如何在Elasticsearch中进行索引库的CRUD操作,旨在帮助读者从入门到项目部署全面掌握Elasticsearch的使用。