Chapter 6. Manual index changes

简介: <div> <h2 style="orphans:2; widows:2; color:rgb(74,93,117); line-height:24px; margin-top:0em; font-family:'Lucida Grande',Geneva,Verdana,Arial,sans-serif; font-size:1.6em; text-align:justify"> <

Chapter 6. Manual index changes

hibernate search会检测hibernate core对数据库的操作,并且自动更新索引(除非EventListeners设置为disabled)。当然hibernate search也支持手动更新索引,来满足我们的需求。比如从备份数据中导入数据到数据库。则需手动建立索引

6.1. Adding instances to the index

Example 6.1. Indexing an entity via FullTextSession.index(T entity)

FullTextSession fullTextSession = Search.getFullTextSession(session);                     Transaction tx = fullTextSession.beginTransaction();                                      Object customer = fullTextSession.load( Customer.class, 8 );
fullTextSession.index(customer);
tx.commit(); //index only updated at commit time

如果要添加一个类索引的所有实例,或者所有类索引,推荐的方法是MassIndexer.see Section 6.3.2, “Using a MassIndexer” for more details.

我们可以通过api删除索引,这个操作叫做purging,清除。也是通过FullTextSession。

Example 6.2. Purging a specific instance of an entity from the index

FullTextSession fullTextSession = Search.getFullTextSession(session);                     Transaction tx = fullTextSession.beginTransaction();                                      for (Customer customer : customers) {                                                     fullTextSession.purge( Customer.class, customer.getId() );
}                                                                                         tx.commit(); //index is updated at commit time
purging通过id删除索引中的实体,不会影响到数据库
如果要删除一个索引的所有实例,可以使用purgeAll方法.

Example 6.3. Purging all instances of an entity from the index

FullTextSession fullTextSession = Search.getFullTextSession(session);                     Transaction tx = fullTextSession.beginTransaction();
fullTextSession.purgeAll( Customer.class );
//optionally optimize the index                                                           //fullTextSession.getSearchFactory().optimize( Customer.class );                          tx.commit(); //index changes are applied at commit time    

Note

FullTextEntityManager也有indexpurge and purgeAll 等方法

Note

所有手动索引方法 (indexpurge and purgeAll) 只影响索引, 然而它们任然有事务性,只有committed或者flushToindexes才能完成操作请求。

6.3. Rebuilding the whole index

如果实体和所以之间的映射被改变,那么就需要重建索引。比如新增了一个查询域。当数据库中导入新数据的时候,也需要重建索引。重建索引的方法有两种:
  1. 定期使用 FullTextSession.flushToIndexes()进行索引更新,或者使用 FullTextSession.index()更新实体。
  2. 使用MassIndexer.

6.3.1. Using flushToIndexes()

利用flushToIndexes可以刷新FullTextSession.puregeAll()已经删除的索引,和FullTextSession.index()添加索引实例到索引中。但是有一些内存和效率方面的问题。索引大量数据时,如果不周期性的利用flushToIndexes()清理队列请小心内存溢出。flushToIndexes()或者commit()之后,索引即被更新,并且无法rolled back.

Example 6.4. Index rebuilding using index() and flushToIndexes()

fullTextSession.setFlushMode(FlushMode.MANUAL);                                           fullTextSession.setCacheMode(CacheMode.IGNORE);                                           transaction = fullTextSession.beginTransaction();                                         //Scrollable results will avoid loading too many objects in memory                        ScrollableResults results = fullTextSession.createCriteria( Email.class )                    .setFetchSize(BATCH_SIZE)                                                                 .scroll( ScrollMode.FORWARD_ONLY );                                                    int index = 0 ;                                                                            while( results.next() ) {                                                                     index++;                                                                                  fullTextSession.index( results.get(0) ); //index each element                             if (index % BATCH_SIZE == 0) {                                                            fullTextSession.flushToIndexes(); //apply changes to indexes                              fullTextSession.clear(); //free memory since the queue is processed                       }                                                                                     }                                                                                        transaction.commit();
为了防止内存溢出,请使用setFetchSize(BATCH_SIZE),来限制。但是BATCH_SIZE越大,从数据库fetch的速度也越快。
hibernate search的MassIndexer方法利用多线程重建索引;你可以自由选择重载或者重建索引。这个方法的效率最高但是需要程序进入维护模式,不建议在进行MassIndexer的时候请求索引等操作。

Example 6.5. Index rebuilding using a MassIndexer

fullTextSession.createIndexer().startAndWait();
上面的操作将重建索引,删除原来的索引,重新从数据库中加载转化索引。虽然api使用很方便,但是建议添加一些额外配置来使进程加快。

Warning

MassIndexer期间索引将无法被请求,请求结果可能会丢失。

Example 6.6. Using a tuned MassIndexer

fullTextSession                                                                             .createIndexer( User.class )                                                               .batchSizeToLoadObjects( 25 )                                                                          .cacheMode( CacheMode.NORMAL )                                                                         .threadsToLoadObjects( 5 )                                                                             .idFetchSize( 150 )                                                                                    .threadsForSubsequentFetching( 20 )                                                                    .progressMonitor( monitor ) //a MassIndexerProgressMonitor implementation                              .startAndWait();
上面操作将重建所有User索引实例,并且将创建5个读数据库线程,每个query携带25个objects.由20个线程去读User的关联对象集。具体参数请见: Table 3.3, “Execution configuration” .
重建索引的时候推荐使用 CacheMode.IGNORE(默认),因为缓存对重建索引是额外消耗。当然某些数据类型下,开启缓存有助于效率,比如枚举类型
数据

Tip

效率最高的线程数量取决于你系统的整体结构, 数据库设计甚至数据的类型. 使用profiler可以帮助找到最佳线程数量: all internal thread groups have meaningful names to be easily identified with most tools.

Note

MassIndexer为了速度而生,且与实务无关,无需begin(),commit(). MassIndexer期间不建议用户查询,一来无法查询到结果,二来增加了系统负载.

其他一些影响索引效率和内存消耗的因素:
  • hibernate.search.[default|<indexname>].exclusive_index_use
  • hibernate.search.[default|<indexname>].indexwriter.max_buffered_docs
  • hibernate.search.[default|<indexname>].indexwriter.max_merge_docs
  • hibernate.search.[default|<indexname>].indexwriter.merge_factor
  • hibernate.search.[default|<indexname>].indexwriter.merge_min_size
  • hibernate.search.[default|<indexname>].indexwriter.merge_max_size
  • hibernate.search.[default|<indexname>].indexwriter.merge_max_optimize_size
  • hibernate.search.[default|<indexname>].indexwriter.merge_calibrate_by_deletes
  • hibernate.search.[default|<indexname>].indexwriter.ram_buffer_size
  • hibernate.search.[default|<indexname>].indexwriter.term_index_interval
上一个版本还支持 max_field_length,不过Lucene已经不支持了,可以使用 LimitTokenCountAnalyzer达到同样效果
所有   .indexwriter参数都是lucene定义的,hibernate search只不过传递这些参数。、详见 Section 3.6, “Tuning Lucene indexing performance”  
MassIndexer仅向前遍历加载的主键,但是mysql's jdbc driver会加载所有值到内存。为了最优化,请设置idFetchSize为Integer.MIN_VALUE

目录
相关文章
|
4月前
|
XML 移动开发 数据格式
【Python】已解决:bs4.FeatureNotFound: Couldn’t find a tree builder with the features you requested: html5
【Python】已解决:bs4.FeatureNotFound: Couldn’t find a tree builder with the features you requested: html5
288 1
Fullpage.js version 3 has changed its license to GPLv3 and it requires a `licenseKey` option ...
Fullpage.js version 3 has changed its license to GPLv3 and it requires a `licenseKey` option ...
140 0
|
TensorFlow 算法框架/工具
成功解决To fix this you could try to: 1. loosen the range of package versions you‘ve specified ​​​​​​​
成功解决To fix this you could try to: 1. loosen the range of package versions you‘ve specified ​​​​​​​
成功解决To fix this you could try to: 1. loosen the range of package versions you‘ve specified ​​​​​​​
MGA (Managed Global Area) Reference Note (Doc ID 2638904.1)
MGA (Managed Global Area) Reference Note (Doc ID 2638904.1)
319 0
|
算法
On the Correct and Complete Enumeration of the Core Search Space
在之前的文章中我们讨论了基于graph的DP-based算法,来解决join ordering的枚举问题。 这些DP算法通过join predicate描述的连通性,解决了枚举可能的表组合问题,但join graph本身(即使hypergraph)是无法完整的描述join语义的,因为连通边本身无法描述不同类型的join语义,例如left outer join/semi join/anti join...,因此即使找到了所谓的csg-cmp-pair,也不一定是有效的plan。 这篇paper讨论的就是这个问题,当枚举出一个csg-cmp-pair (S1 o S2),如何判断这是有效的join
442 0
On the Correct and Complete Enumeration of the Core Search Space
GM6 pageset - Cache get scenario /ui2/cl_pfcg_utils
Created by Wang, Jerry, last modified on Apr 20, 2015
146 0
GM6 pageset - Cache get scenario /ui2/cl_pfcg_utils
|
Web App开发 SQL 移动开发
step by step guide tell you how to build a website like apkmirror
There are many [free apk download](https://idoras.com) websites such as apkmirror, today i will tell you how to build a website like apkmirror, the programming language i used is [node.js](https://nodejs.org/en/), the database i used is [mongodb](https://www.mongodb.com/), search engine used is [ela