***********************
SolrJ学习的一点总结
***********************
写在开头的废话
================
最近接手一个旧项目，原来因为赶工导致整个代码混乱不堪，无奈之下下定决心准备全部重写。这个系统大量用到全文索引，目前比较流行的有Lucene和Sphinx，且这两个框架在不同项目中都用到了。很久之前看过Lucene，但基本都忘记了，Sphinx在最近一个项目中用到，但是我没具体参与，用法也不清楚。原先系统中是用的对Lucene上层封装的SolrJ框架，目前用的也有很多问题。这真是一个不容易的抉择，按道理应该统一技术选型用Sphinx，但是我还是被SolrJ的易用性和强大功能吸引了，特别是用Java的哪能那么容易拒绝Java的开源产品呢。
小试牛刀
===========
既然定下来了，那就踏踏实实的开始学习的旅程吧。第一步当然先上官方网站看资料，apache下的产品文档还是非常齐备的。先看看有哪些版本，结果上去一看确实被晃点了一下，最新版本有两个，一个是3.1.0，一个是1.4.1。后来在一处文档中看到，最新的版本号已经不单独立了，而是根据Lucene的版本一起走，并且打算以后就和它一起打包发布了。看了一下change log，3.1.0的版本改动并不大，感觉稳定性应该还是有保障的。两个版本都下载下来看了一下，确实3.1.0的版本在注释、目录结构等细节上更清晰，所以就敲定用它了。
第二步当然是弄个demo玩一下了，索性在包中直接就有一个example的例子，官方给的代码例子和这个都是对应的，后来看配置文件的时候才发现的，狂汗...！所以不要异想天开的自己乱写，先搞懂再动手。服务器启动很简单，直接在example目录下面执行java -jar start.jar就行了，在http://localhost:8983/solr中就可以进行查询了。但是添加数据的代码就要自己写了，否则啥都没有咋查啊。插入数据的例子官方网站就有，照着写就OK了，还是给一个例子好了。其实我这里把插入、查询、删除的都写了个例子并调试通过，所以心里也基本有底了。
- public class AddClient {
- public static void main(String[] args) {
- String url = "http://localhost:8983/solr";
- SolrServer server;
- try {
- server = new CommonsHttpSolrServer(url);
- // add
- SolrInputDocument doc1 = new SolrInputDocument();
- doc1.addField( "id", "1", 1.0f );
- doc1.addField( "name", "玛瑙宝石真漂亮", 1.0f );
- doc1.addField( "price", 10 );
- SolrInputDocument doc2 = new SolrInputDocument();
- doc2.addField( "id", "2", 1.0f );
- doc2.addField( "name", "MM也很漂亮，天地真爱可见", 1.0f );
- doc2.addField( "price", 20 );
- SolrInputDocument doc3 = new SolrInputDocument();
- doc3.addField( "id", "3", 1.0f );
- doc3.addField( "name", "simple is beauty", 1.0f );
- doc3.addField( "price", 1000 );
- Collection<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
- docs.add( doc1 );
- docs.add( doc2 );
- docs.add( doc3 );
- server.add( docs );
- server.commit();
- } catch (MalformedURLException e) {
- e.printStackTrace();
- } catch (SolrServerException e) {
- e.printStackTrace();
- } catch (IOException e) {
- e.printStackTrace();
- }
- }
- }
然后就是在查询界面里面玩玩查询吧，突然发现中文的查询居然不能任意挑选一个词去查，当然用通配符可以，但是这不是索引的效果。
深入探索
===========
新鲜劲已经过去了，是时候好好看看官方文档了。其实官方文档写的还算比较简洁了，无奈这个功能太多，所以看起来还是花了不少时间。
要用好这个系统，最重要的还是要搞清楚参数的含义。这里有三个重要的配置文件，分别是solr.xml，sorlconfig.xml和schema.xml。
solr.xml
---------------
这个比较简单，主要就是定义Core，我的理解就是一个索引实例，有自己独立的配置。在其他地方查阅资料的时候发现，其实就算一个实例也会在特定的操作中用到多核CPU，所以这里的Core与CPU没有直接的对应关系。以前用Sphinx测试的时候发现，建立索引的时候就只能用到单核。
solrconfig.xml
-------------------------
这个是最核心的配置文件了，系统参数都在这。其实默认配置文件里面的注释非常详细了，这里挑几个感觉比较重要的记录一下。
1. mainIndex：这是磁盘上索引的主要参数，其中mergeFactor表示多少个segment开始合并，maxMergeDocs表示单个segment的最大值，maxBufferDocs表示缓存的最大个数。后面还有一个移除缓存的策略参数，通常LRU足够用了。
2. updateHandler：这里可以设置自动提交的配置，有maxDocs和maxTime，这在特定场景下肯定会用到。
3. Caching Sections：这里有filterCache，queryResultCache，documentCache，策略就用LRU就行，size和autoWarmCount根据情况设置就行了。还有一些比较复杂的参数，具体看注释吧。
4. updateRequestProcessorChain：里面有个引起我注意的参数，就是overwriteDups的去重配置，或许在特定情况下能帮上忙。
对于去重功能，系统提供了3种识别方式。MD5Signature就不用说了，为了生成唯一主键的；Lookup3Signature是64bit的加密方式，比MD5更快且存储空间更小，当然冲突会高一些；TextProfileSignature是对长文本提取关键特征的一种方式。最后就是把这个生成的唯一键标记成一个去重的标志位就可以了。
5. highlighting：用于高亮显示查询命中词的，这个是在实际使用中非常实用的功能，这个用到的时候要细细的研究一下。
schema.xml
-------------------
1. field：就是定义具体参数的，indexed表示是否建索引，stored表示是否存内容；compressed表示是否压缩；omitNorms表示关闭length normalization，对全文字段加快一些索引速度，并节省一些内存；表示omitTermFreqAndPositions表示忽略一些参数来减少存储空间，但不能再进行频率和位置的查询了；multiValued表示一个文档中可以有多个值。
2. dynamicField：可以给name用模糊命名，比如"*_i"。
3. analyzer：分词的配置，默认的是按空白切分，这对于中文会没用，如果用一元分词就改成Standard模式。这里分词有两个地方会用到，一个是在建立索引的时候，另一个是对于查询条件。引入第三方中文词库也是在这里配置。
4. uniqueKey：这个是整个索引的全局唯一值，所以如果用主键，务必注意多个表数据不能同时插入。
5. copyField：这个是可以让多个字段合并到一个字段进行查询。
其他发现
===========
1. 突然想到既然每次添加都要commit才行，那如果没有commit却中断通讯，会不会产生回滚呢。结果测试了一下，居然不会回滚，上次没有commit的数据会在下一次一起提交。
2. Optimize操作是优化那一章提到的非常多，有一个可以直接配置的就是每次commit以后都做一次优化。官方介绍中提到1GB的索引优化一次需要约5分钟，所以这种频繁commit的场景是不能这么使用的，在另外一处也提到了建议一天优化一次。所以这个还是自己写个定时程序晚上优化一下即可。在Java代码中使用CommonsHttpSolrServer.optimize()方法应该就行了。
本文转自passover 51CTO博客，原文链接：http://blog.51cto.com/passover/568972，如需转载请自行联系原作者
