SolrCore2.9.1源码分析备忘

简介: 假期重新把之前在新浪博客里面的文字梳理了下,搬到这里

Solr2.9.1 代码 下面的分析有点散,围绕solrcore展开,重点是query流程,细入是getSearcher

内容中有一些直接从参考链接里面拷贝的。

1SolrCore功能点

   0.JMX的初始化》远程监控使用 进入参考链接http://lucidworks.lucidimagination.com/display/solr/Using+JMX+with+Solr默认情况下不会起到JMX

   1.初始化加载solrconfig.xml 配置信息----》整个检索层的配置

2.updatehandler  --》写索引,关联的updateProcessorchains,内部重新打开索引writer

Commit的时候会getSearcher从而打开新的reader视图,solrIndexSearcher之后就可见。

3 SolrIndexSearcher---》查询索引的入口,关联  查询解析的QquerParse、高亮、searchComponent、【读reader共享、写需要同步readerSolrIndexSearch打开的都是readonlyreader 线程安全并且单例,提升性能】

4 事件支持:firstSearcherListenersnewSearcherListeners 这里可以作为扩展自己的reader服务的入口

5. 查询返回的responseWriter

   6 前提准备索位置Directory、索引readerreaderfactory ,间接关联reader管理,

7 索引的删除策略加载

2execute分析

SolrCore中有两个execute方法:

   1. execute(SolrQueryRequest req, SolrQueryResponse rsp)

   2.execute(SolrRequestHandler handler, SolrQueryRequest req, SolrQueryResponse rsp)

对于第一个方法,没有像第二个方法那样的handler参数,但是其实其内部通过这样一个方法来获得handler的:SolrRequestHandler handler = getRequestHandler(req.getQueryType())。也就是说我们通过在req中指定qt参数的值就可以获得我们想要的处理 器,当然这些处理器需要在solrconfig.xml

requestHandler元素中定义(配置文件中有大量requestHandler)。这样服务器在建立时才能建立相应的处理器实例。

 这里我发现在获取处理器时,参数为""null还是standard都能得到StandardRequestHandler的实例

SolrCore::execute的流程
  1.
进行handler合法性的检查,不能为null,否则抛出错误。

2.final NamedList

      rsp.add("responseHeader", responseHeader);

      建立一个单序映射表并将其作为响应头加入到rsp中。

3.NamedList toLog = rsp.getToLog();

 获得rspToLog对象,并从请求中获得一些相关信息加入,这些信息有webapp,path,params

4.handler.handleRequest(req,rsp);

5.StringBuilder sb = new StringBuilder();....

 rspToLog中获得信息并将其加入到sb中,然后在日志中输出。

分析了SolrCore中的execute方法的流程,而且可以看到具体执行查询过程的语句是:handler.handleRequest(req,rsp)。请注意查询时候,这里的变量的类型是:

handlerStandardRequestHandler

req:SolrRequestParsers类中的一个匿名类。

rsp:SolrQueryResponse

query调用流

StandardRequestHandler extends SearchHandlersolrcore::execute.handler.handlerRequest(),

转为solrcore::execute.StandardRequestHandler.handlerRequest

转为SearchHandler.handlerRequest() SearchHandler extends RequestHandlerBase

转为RequestHandlerBase.handlerRequest() 真正执行handlerRequest()

RequestHandlerBase.handlerRequest() 设置httpcachinghandleRequestBody(),

抽象的handlerRequestBody()在子类SearchHandler中实现了,

转回SearchHandler.handlerRequestBody(),其中对QueryComponent 执行prepareprocess

prepare中生成QParser,注意只有queryComponent中生成了Qparser,其他的没有生成。并且Qparser 是从staticgetParser() 中拿到,而Qparser.getParser()中又是从SolrCore.getQueryPlugin() 通过solrconfig.xml中配置获取。

SolrCore Searcher Control部分有点复杂

----getSearcher的逻辑

getSearcher – (forceNew, returnSearcher, waitSearcher-Futures)

关注solr全局三个点调用getSearcher函数 : solrCore初始化时(false, false, null)QueryComponent处理查询请求时(false, true, null)UpdateHandler在处理commit请求时(true, false, new Future[1])

外部调用

EmbededSolrServer.request-->在执行core.execute() 之前,从coregetRequestHandler_parserbuildRequestFrom(), new SolrQueryResponse() 返回SolrQueryRequestBase

SolrQueryRequestBase 

protected RefCounted searcherHolder;

  publicSolrIndexSearcher getSearcher() {

   if(core == null) return null;//a request for a core admin will no have a core

   // should this reach out and get a searcher from the core singleton, or

   // should the core populate one in a factory method to create requests?

   // or there could be a setSearcher() method that Solr calls

   if(searcherHolder==null) {

     searcherHolder= core.getSearcher();

   }

   returnsearcherHolder.get();

 }

 

 public void close() {

   if(searcherHolder!=null) {

     searcherHolder.decref();

     searcherHolder= null;

   }

 }

当调用SolrQueryRequestBasegetSearcher()时,如果是第一次调用,会转而调用core.getSearcher(), 其会使得到的searcherHolder的引用计数增一。而对称的,SolrQueryRequestBaseclose()方法使 searcherHolder的引用计数减一,一增一减平衡了。 这也使得当新的索引到来时,仍旧提供查询服务的SolrIndexSearcher不会立 即关闭,直到其引用计数减为0才关闭。所以,在使用SolrQueryRequest时,要确保请求的最后调用其close方法,否则那些无用的 SolrIndexSearcher就不会被释放,直到句柄耗尽或者OOM掉。

 

引用对象

引用对象的典型使用是SolrCore,看下相关代码:

private final AtomicInteger refCount = new AtomicInteger(1);

 

 final void open() {

   refCount.incrementAndGet();

 }

 public void close() {

   int count = refCount.decrementAndGet();

   if (count > 0) return; // close is called often, and only actually closes if nothing is using it.

   if (count <</span> 0) {

     log.error("Too many close [count:{}] on {}. Please report this exception to solr-user@lucene.apache.org", count, this );

     return;

   }

   //释放对象和资源

 }

引用计数就是refCount了。SolrCore实例的获得是通过调用CoreContainer SolrCore getCore(String name)得到,其实现是:

public SolrCore getCore(String name) {

   synchronized(cores) {

     SolrCore core = cores.get(name);

     if (core != null)

       core.open();  // increment the ref count while still synchronized

    return core;

   }

 }

也就是说CoreContainer显示的openSolrCore,所以在得到SolrCore实例后,也需要显示的close它。因为 SolrQueryRequestBase用到了SolrCore,所以在处理请求的最后,要确保调用了SolrCoreclose方法。当然,对于查 询端,SolrCore实例在整个生命周期内通常并不会真正被close,除非显示的调用了reload等操作。

下一篇 SolrCore getSearcher

参考链接

http://www.cnblogs.com/mandela/archive/2011/05/10/2041754.html

http://www.kafka0102.com/2010/11/401.html

 

目录
相关文章
|
3月前
|
存储 前端开发 JavaScript
EaselJS 源码分析系列--第四篇
EaselJS 源码分析系列--第四篇
|
3月前
|
存储 缓存 前端开发
EaselJS 源码分析系列--第三篇
EaselJS 源码分析系列--第三篇
|
3月前
|
存储 前端开发 JavaScript
PixiJS源码分析系列: 第一章 从最简单的例子入手
PixiJS源码分析系列: 第一章 从最简单的例子入手
|
3月前
|
移动开发 前端开发 JavaScript
EaselJS 源码分析系列--第一篇
EaselJS 源码分析系列--第一篇
|
设计模式 分布式计算 资源调度
如何阅读源码
如何阅读源码
208 0
|
算法 Java 中间件
阅读优秀项目源码很重要,分享一个读源码的方法,小白都能学会
作为一个程序员,经常需要读一些开源项目的源码。同时呢,读源码对我们也有很多好处: 1.提升自己 2.修复 Bug 3.增加新功能
阅读优秀项目源码很重要,分享一个读源码的方法,小白都能学会
|
IDE 测试技术 API
聊聊我的源码阅读方法
本次代码阅读的项目来自 500lines 的子项目 web-server。 500 Lines or Less不仅是一个项目,也是一本同名书,有源码,也有文字介绍。这个项目由多个独立的章节组成,每个章节由领域大牛试图用 500 行或者更少(500 or less)的代码,让读者了解一个功能或需求的简单实现。
160 0
聊聊我的源码阅读方法
|
存储 缓存 JSON
tinydb 源码阅读
TinyDB是一个小型,简单易用,面向文档的数据库;代码仅1800行,纯python编写。TinyDB项目大小刚好,学习它可以了解NOSQL数据库的实现。
434 0
tinydb 源码阅读
|
分布式计算 搜索推荐 前端开发
学会阅读源码后,我觉得自己better了
学会阅读源码后,我觉得自己better了
182 0
|
索引
SolrCore2.9.1源码分析备忘
Solr2.9.1  代码 下面的分析有点散,围绕solrcore展开,重点是query流程,细入是getSearcher 内容中有一些直接从参考链接里面拷贝的。 【1】SolrCore功能点     0.JMX的初始化—》远程监控使用 进入参考链接http://lucidworks
1318 5

相关实验场景

更多