SolrCore2.9.1源码分析备忘

简介: 假期重新把之前在新浪博客里面的文字梳理了下,搬到这里

Solr2.9.1 代码 下面的分析有点散,围绕solrcore展开,重点是query流程,细入是getSearcher

内容中有一些直接从参考链接里面拷贝的。

1SolrCore功能点

   0.JMX的初始化》远程监控使用 进入参考链接http://lucidworks.lucidimagination.com/display/solr/Using+JMX+with+Solr默认情况下不会起到JMX

   1.初始化加载solrconfig.xml 配置信息----》整个检索层的配置

2.updatehandler  --》写索引,关联的updateProcessorchains,内部重新打开索引writer

Commit的时候会getSearcher从而打开新的reader视图,solrIndexSearcher之后就可见。

3 SolrIndexSearcher---》查询索引的入口,关联  查询解析的QquerParse、高亮、searchComponent、【读reader共享、写需要同步readerSolrIndexSearch打开的都是readonlyreader 线程安全并且单例,提升性能】

4 事件支持:firstSearcherListenersnewSearcherListeners 这里可以作为扩展自己的reader服务的入口

5. 查询返回的responseWriter

   6 前提准备索位置Directory、索引readerreaderfactory ,间接关联reader管理,

7 索引的删除策略加载

2execute分析

SolrCore中有两个execute方法:

   1. execute(SolrQueryRequest req, SolrQueryResponse rsp)

   2.execute(SolrRequestHandler handler, SolrQueryRequest req, SolrQueryResponse rsp)

对于第一个方法,没有像第二个方法那样的handler参数,但是其实其内部通过这样一个方法来获得handler的:SolrRequestHandler handler = getRequestHandler(req.getQueryType())。也就是说我们通过在req中指定qt参数的值就可以获得我们想要的处理 器,当然这些处理器需要在solrconfig.xml

requestHandler元素中定义(配置文件中有大量requestHandler)。这样服务器在建立时才能建立相应的处理器实例。

 这里我发现在获取处理器时,参数为""null还是standard都能得到StandardRequestHandler的实例

SolrCore::execute的流程
  1.
进行handler合法性的检查,不能为null,否则抛出错误。

2.final NamedList

      rsp.add("responseHeader", responseHeader);

      建立一个单序映射表并将其作为响应头加入到rsp中。

3.NamedList toLog = rsp.getToLog();

 获得rspToLog对象,并从请求中获得一些相关信息加入,这些信息有webapp,path,params

4.handler.handleRequest(req,rsp);

5.StringBuilder sb = new StringBuilder();....

 rspToLog中获得信息并将其加入到sb中,然后在日志中输出。

分析了SolrCore中的execute方法的流程,而且可以看到具体执行查询过程的语句是:handler.handleRequest(req,rsp)。请注意查询时候,这里的变量的类型是:

handlerStandardRequestHandler

req:SolrRequestParsers类中的一个匿名类。

rsp:SolrQueryResponse

query调用流

StandardRequestHandler extends SearchHandlersolrcore::execute.handler.handlerRequest(),

转为solrcore::execute.StandardRequestHandler.handlerRequest

转为SearchHandler.handlerRequest() SearchHandler extends RequestHandlerBase

转为RequestHandlerBase.handlerRequest() 真正执行handlerRequest()

RequestHandlerBase.handlerRequest() 设置httpcachinghandleRequestBody(),

抽象的handlerRequestBody()在子类SearchHandler中实现了,

转回SearchHandler.handlerRequestBody(),其中对QueryComponent 执行prepareprocess

prepare中生成QParser,注意只有queryComponent中生成了Qparser,其他的没有生成。并且Qparser 是从staticgetParser() 中拿到,而Qparser.getParser()中又是从SolrCore.getQueryPlugin() 通过solrconfig.xml中配置获取。

SolrCore Searcher Control部分有点复杂

----getSearcher的逻辑

getSearcher – (forceNew, returnSearcher, waitSearcher-Futures)

关注solr全局三个点调用getSearcher函数 : solrCore初始化时(false, false, null)QueryComponent处理查询请求时(false, true, null)UpdateHandler在处理commit请求时(true, false, new Future[1])

外部调用

EmbededSolrServer.request-->在执行core.execute() 之前,从coregetRequestHandler_parserbuildRequestFrom(), new SolrQueryResponse() 返回SolrQueryRequestBase

SolrQueryRequestBase 

protected RefCounted searcherHolder;

  publicSolrIndexSearcher getSearcher() {

   if(core == null) return null;//a request for a core admin will no have a core

   // should this reach out and get a searcher from the core singleton, or

   // should the core populate one in a factory method to create requests?

   // or there could be a setSearcher() method that Solr calls

   if(searcherHolder==null) {

     searcherHolder= core.getSearcher();

   }

   returnsearcherHolder.get();

 }

 

 public void close() {

   if(searcherHolder!=null) {

     searcherHolder.decref();

     searcherHolder= null;

   }

 }

当调用SolrQueryRequestBasegetSearcher()时,如果是第一次调用,会转而调用core.getSearcher(), 其会使得到的searcherHolder的引用计数增一。而对称的,SolrQueryRequestBaseclose()方法使 searcherHolder的引用计数减一,一增一减平衡了。 这也使得当新的索引到来时,仍旧提供查询服务的SolrIndexSearcher不会立 即关闭,直到其引用计数减为0才关闭。所以,在使用SolrQueryRequest时,要确保请求的最后调用其close方法,否则那些无用的 SolrIndexSearcher就不会被释放,直到句柄耗尽或者OOM掉。

 

引用对象

引用对象的典型使用是SolrCore,看下相关代码:

private final AtomicInteger refCount = new AtomicInteger(1);

 

 final void open() {

   refCount.incrementAndGet();

 }

 public void close() {

   int count = refCount.decrementAndGet();

   if (count > 0) return; // close is called often, and only actually closes if nothing is using it.

   if (count <</span> 0) {

     log.error("Too many close [count:{}] on {}. Please report this exception to solr-user@lucene.apache.org", count, this );

     return;

   }

   //释放对象和资源

 }

引用计数就是refCount了。SolrCore实例的获得是通过调用CoreContainer SolrCore getCore(String name)得到,其实现是:

public SolrCore getCore(String name) {

   synchronized(cores) {

     SolrCore core = cores.get(name);

     if (core != null)

       core.open();  // increment the ref count while still synchronized

    return core;

   }

 }

也就是说CoreContainer显示的openSolrCore,所以在得到SolrCore实例后,也需要显示的close它。因为 SolrQueryRequestBase用到了SolrCore,所以在处理请求的最后,要确保调用了SolrCoreclose方法。当然,对于查 询端,SolrCore实例在整个生命周期内通常并不会真正被close,除非显示的调用了reload等操作。

下一篇 SolrCore getSearcher

参考链接

http://www.cnblogs.com/mandela/archive/2011/05/10/2041754.html

http://www.kafka0102.com/2010/11/401.html

 

目录
相关文章
|
Java 数据库连接 数据库
源码分析系列教程(完) - 终章总结
源码分析系列教程(完) - 终章总结
63 0
源码分析系列教程(完) - 终章总结
|
7月前
|
Java C++
关于《Java并发编程之线程池十八问》的补充内容
【6月更文挑战第6天】关于《Java并发编程之线程池十八问》的补充内容
54 5
|
5月前
|
存储 前端开发 JavaScript
EaselJS 源码分析系列--第四篇
EaselJS 源码分析系列--第四篇
|
5月前
|
存储 缓存 前端开发
EaselJS 源码分析系列--第三篇
EaselJS 源码分析系列--第三篇
|
5月前
|
存储 前端开发 JavaScript
PixiJS源码分析系列: 第一章 从最简单的例子入手
PixiJS源码分析系列: 第一章 从最简单的例子入手
|
8月前
|
XML Java 数据格式
🚀今天,我们来详细的聊一聊SpringBoot自动配置原理,学了这么久,你学废了吗?
🚀今天,我们来详细的聊一聊SpringBoot自动配置原理,学了这么久,你学废了吗?
125 0
|
XML 安全 数据库连接
温故知新-源码分析篇
温故知新-源码分析篇
52 0
|
设计模式 存储 安全
Java的第十三篇文章——JAVA多线程(后期再学一遍)
Java的第十三篇文章——JAVA多线程(后期再学一遍)
|
XML 设计模式 缓存
面试必问系列之最强源码分析,带你一步步弄清楚Spring如何解决循环依赖
面试必问系列之最强源码分析,带你一步步弄清楚Spring如何解决循环依赖
29633 6
面试必问系列之最强源码分析,带你一步步弄清楚Spring如何解决循环依赖
|
存储 机器学习/深度学习 架构师
面经手册 · 第21篇《手写线程池,对照学习ThreadPoolExecutor线程池实现原理!》
正好是2020年,看到这张图还是蛮有意思的。以前小时候总会看到一些科技电影,讲到机器人会怎样怎样,但没想到人似乎被娱乐化的东西,搞成了低头族、大肚子! 当意识到这一点时,其实非常怀念小时候。放假的早上跑出去,喊上三五个伙伴,要不下河摸摸鱼、弹弹玻璃球、打打pia、跳跳房子!一天下来真的不会感觉累,但现在如果是放假的一天,你的娱乐安排,很多时候会让头很累!
423 0
面经手册 · 第21篇《手写线程池,对照学习ThreadPoolExecutor线程池实现原理!》

热门文章

最新文章

相关实验场景

更多