Lucene5学习之Directory理解

Directory即Lucene中对索引目录的一个抽象，体现到API上，它被设计为一个抽象类，类里面定义了一些抽象方法，如listAll列出目录下所有文件，deleteFile(String name) 根据文件名称删除索引文件，这个都是文件的基本操作,其中比较重要的一个接口方法是makeLock,为什么要为索引目录加锁？其实就跟你上厕所为什么要锁门是一样一样滴？我没拉完你就给我乖乖等着。

 BaseDirectory是Directory的一个子类，它默认实现了makeLock方法,

Java代码  

1. @Override  
2.   public final Lock makeLock(String name) {  
3.     return lockFactory.makeLock(this, name);  
4.   }  

 这里的lockFactory仍然是一个抽象类，由子类传入传入具体的lockFactory工厂实现来创建不同的Lock实例FSDirectory是针对文件系统的一个Directory实现，即使用这个Directory就可以把索引文件存储到我们的文件系统里了。FSDirectory下面又有3个子类，分别是SimpleFSDirectory，NIOFSDirectory，MMapDirectory，

SimpleFSDirectory：它是基于文件系统的索引目录的一个简单实现，它在多线程环境下性能表现很差，不支持并发读写索引文件。

NIOFSDirectory:顾名思义，它就是使用NIO里的FileChannel文件通道来解决并发读写索引文件的，但它在windows平台下有个致命的BUG，官方建议在windows平台下使用RAFDirectory来代替NIOFSDirectory。

MMapDirectory:即基于内存映射的方式把文件load到内存来减少与IO的交互次数，从而提高IO性能，但这部分内存也存在隐患，因为JDK存在一个BUG，就是当IndexInput.close()时并不能有效的交还文件系统里索引文件的文件句柄，这就直接导致索引lock无法释放，一直直到GC回收这部分内存中潜在的对象时该句柄才会释放。由于文件句柄不能有效的立即释放，可能会导致你的硬盘空间得不到立即的释放，所以如果你的应用对于硬盘状况很敏感，这将是一个致命的定时炸蛋(连个zha弹都不让写，ITEye这是怎么了？)，放在心里就行，反正暂时这个BUG未解决。(现在硬盘这么廉价，多浪费点硬盘空间也没啥)不过在linux系统上，即使句柄没有释放，当你删除索引文件时会提示是否在delete on last close,当你close时候还是会删除成功的，但索引文件还是会文件系统上占硬盘空间，而在windows平台上你只会得到一个Error,所以又是Windows，你懂的。

上面简单说了下各种FSDirectory的作用，下面简单说下各个Directory中比较重要的一些接口方法：

Java代码  

1. /** Just like {@link #open(Path)}, but allows you to 
2.    *  also specify a custom {@link LockFactory}. */  
3.   public static FSDirectory open(Path path, LockFactory lockFactory) throws IOException {  
4.     if (Constants.JRE_IS_64BIT && MMapDirectory.UNMAP_SUPPORTED) {  
5.       return new MMapDirectory(path, lockFactory);  
6.     } else if (Constants.WINDOWS) {  
7.       return new SimpleFSDirectory(path, lockFactory);  
8.     } else {  
9.       return new NIOFSDirectory(path, lockFactory);  
10.     }  
11.   }  

 FSDirectory类里的open方法是使用比较频繁的方法之一，其实内部就是根据用户的操作系统环境和使用的JDK来选择合适的Directory,

Constants.JRE_IS_64BIT即表示是否是64位的JDK,

MMapDirectory.UNMAP_SUPPORTED即表示是否支持Direct Buffer，什么叫Direct Buffer？其实Direct Buffer并不是直接分配在堆上的，Direct Buffer不受GC管理，即Direct Buffer是有操作系统来销毁的，但Direct Buffer上对象是由GC负责回收的，Direct Buffer读写之所以快，是因为减少数据拷贝到内核缓冲区的操作，但Direct Buffer是由操作系统负责销毁，所以代价也是很高的。那我们看看Lucene是如何判断是否支持Direct Buffer的？

Java代码  

1. /** 
2.    * <code>true</code>, if this platform supports unmapping mmapped files. 
3.    */  
4.   public static final boolean UNMAP_SUPPORTED;  
5.   static {  
6.     boolean v;  
7.     try {  
8.       Class.forName("sun.misc.Cleaner");  
9.       Class.forName("java.nio.DirectByteBuffer")  
10.         .getMethod("cleaner");  
11.       v = true;  
12.     } catch (Exception e) {  
13.       v = false;  
14.     }  
15.     UNMAP_SUPPORTED = v;  
16.   }  

 其实就是判断JDK里是否有sun.misc.Cleaner这个类，以及Java.nio.DirectByteBuffer类是否有cleaner方法。

这两个类都是用于Direct buffer里对象清理工作的。

Oracle/Sun JDK 6中的HotSpot VM只会在年老代GC（full GC/major GC或者concurrent GC都算）的时候才会做reference processing，而在young GC/minor GC时不做。 也就是说，做full GC的话会做reference processing，进而能触发Cleaner对已死的DirectByteBuffer对象做清理工作。而如果很长一段时间里没做过GC或者只做了young GC的话则不会触发Cleaner的工作，那么就可能让本来已经死了的DirectByteBuffer关联的native memory得不到及时释放。 

之所以要保证有上述两个类，就是确保DirectByteBuffer里的内存能得到释放以保证性能，这样你使用MMapDirectory才能体现它的优势又能避免它潜在的隐患。

还有一个比较重要的Directory就是RAMDirectory,就是内存索引目录，即把索引文件数据load到堆中，内部就是用new byte[1024]来缓存索引数据的，这适合于小量的索引文件，RAMDirectory设计之初就不是为百万级别的大数量的索引而设计的，因为它会在你的内存产生数以百万的byte[1024],从而导致频繁GC回收，影响性能，而且它在多线程并发环境下表现也很糟糕，官方建议是：大数据量的索引请使用MMapDirectory,RAMDirectory的使用场景是当你创建索引时可以先把少量的索引放入内存，再switch到FSDirectory flush到file system,利用内存减少与File System访问次数。

另外一个比较重要的Directory就是FileSwitchDirectory,它就是集NIODirectory与MMapDirectory优点与一身的Directory，NIODirectory是直接把文件放入heap buffer中，而MMapDirectory是把文件直接映射到Direct buffer,由于Heap buffer可使用量大而Direct buffer虽然读写速度快，但它受操作系统调度，开辟和销毁的代价太高，不宜过多使用，所以一般我们需要使用NIODirectory来读写比较大的索引文件，而用MMapDirectory来读写相对比较小的文件，两者结合互补你懂的。

同理Lock也有对应的3种实现，就不赘述了。

一般我们使用FSDirectory.open由api自动帮我们来选择合适的Directory即可，特殊情况下可以使用FileSwitchDirectory结合下两种Directory的优点。关于Directory就说这么多了，如果有哪里说的不正确，还望你提出来，谢谢！

如果你还有什么问题请加我Ｑ-Q：7-3-6-0-3-1-3-0-5，

或者加裙
一起交流学习！

转载：http://iamyida.iteye.com/blog/2194394