作者:阿里云MVP 铭毅
往期内容:
死磕 Elasticsearch 方法论:普通程序员高效精进的 10 大狠招!
Elasticsearch学习,请先看这一篇!(Elasticsearch教程01)
Elasticsearch增、删、改、查操作深入详解(Elasticsearch教程02)
1、关于ES index存储在内存的问题?
(1)早期ES1.X版本对ES索引存储介绍:
原文地址:
https://www.elastic.co/guide/en/elasticsearch/reference/1.4/index-modules-store.html
ES1.X存储模块可以控制索引数据的存储方式,索引可以存储在内存和磁盘上。使用内存方式可以得到更好的性能,但受限于实际的可用的物理内存大小。
早期ES1.X版本有选项将索引存储到内存中,但是相比基于mmap的存储方式,这种方式并没有改善性能,所以在ES2.X版本中Memory存储类型已经被删除。
(2)最新的ES2.X版本(截止:2016-08-08)索引存储介绍:
原文地址:
https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-store.html
ES2.X版本中该Memeory选项已经被删除。
现在ES2.X中在内存中映射索引使用mmap 系统调用。
并且ES的大牛也都推荐就索引存储而言,使用缺省默认值default_fs。
2、ES2.X文件系统存储类型
基于文件系统的存储是默认索引存储方式。有不同的实现或存储类型。最好的一个操作系统的自动选择是:mmapfs使用在Windows的64bit系统上,simplefs使用在windows的32bit系统上,除此之外默认是用(hybrid niofs 和 mmapfs)。
可以通过修改配置文件elasticsearch.yml来指定存储类型:
index.store.type: niofs
当然也可以在创建索引的时候指定:
下面是所有支持的不同存储类型:
(1) Simple FS(简单文件系统)
Simplefs类型是一个简单的实现随机访问文件的文件存储系统(映射到Lucene SimpleFsDirectory的)。该实现的并发性能较差(多线程是个瓶颈)。当你需要将索引持久化,最好使用niofs。
(2) NIO FS(NIO文件系统)
niofs类型是通过NIO将分片索引文件写到文件系统上(映射到Lucene NIOFSDirectory)。它允许多线程同时读取文件。不建议在Windows系统上使用,由于SUN JAVA实现上的一个错误。
(3) MMap FS(内存映射文件系统)
mmapfs类型存储分片索引到文件系统上(映射到Lucene MMapDirectory)通过映射文件到内存中(MMAP)。
内存映射的过程中将划分出与被映射文件大小一样的虚拟内存空间。使用这个类之前,请确保您有足够的虚拟地址空间。
Linux下虚拟内存设置:
永久生效:
(4)Hybrid MMap / NIO FS(缺省值, default_fs)
default_fs默认的类型是NIO FS和MMapFS,它将为每个类型的文件选择最好的文件系统。 目前,只有Lucene的term 路径和DOC值的文件被存储器映射,以降低运行系统的影响。所有其他文件都使用Lucene NIOFSDirectory打开。如果你的term字典很大,地址空间设置(部分叫做“虚拟内存编辑“)也可能适用,。
3、ES索引存储小结
一句话总结:
在2.X版本,用户无需关注索引存储在内存中还是存储在硬盘中。使用默认的存储设置default_fs,以达到最优性能
在Windows的64bit系统上使用 mmapfs ;
在windows的32bit系统上使用 simplefs ;
除此之外默认使用 default_fs (hybrid niofs 和 mmapfs),如Linux系统。
4、细节讨论
https://discuss.elastic.co/t/how-to-set-elasticsearch-index-store/57556/2
更多ES相关实战干货经验分享,请关注【铭毅天下】微信公众号