使用Solr构建企业级的全文检索(三)---------Schema定义

简介:

  上一篇文章介绍了Solr的管理界面,使用这个管理界面我们我们可以方便的了解现在Solr的运行情况,也可以查看目前的系统是如何配置的,你甚至可以通过它做一些测试和调试,但是也仅止于此,系统的配置你还必须通过各种各样的配置文件。要使Solr可以处理我们自己的文档,第一步要做的就是配置Schema。

Schema是Solr业务逻辑的核心,一个文档包含哪些字段,字段是否被索引,如何索引,如何被查询都在Schema中定义。我们可以在Solr的conf目录下找到schema.xml这个文件,这个文件中就是Schema的定义。需要注意的是一个Solr的实例只能有一个Schema。Schema的定义很像是数据库中的一张表,你在表里面定义字段,比如text字段,数据类型是nvarchar这样。不同的是,在数据库里面,你只能使用系统预设的字段类型来定义字段,而在Solr的schema中你不但可以定义字段,而且还可以定义自己的字段类型,并且定义字段类型往往是最重要的。

我们可以浏览一下这个schema文件,在<types>节点中的所以内容都是字段定义,这些字段类型一块一块的被定义,在每一块的上边有很详细的定义。对于每行一个定义这样的简单字段类型基本上是Solr的基本数据类型,一般来说你不需要去修改它,这些字段的omitNorms attribute都是true,也就是说他们不会被用来分析,只用来存储数据。如果想要更快的范围查询,请考虑使用t前缀的字段类型。我们来看看下面的一段字段定义的配置:

 

复制代码
      < fieldType  name ="text_general"  class ="solr.TextField"  positionIncrementGap ="100" >

      <analyzer type="index">
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
        <!-- in this example, we will only use synonyms at query time
        <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
        
-->
        <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
      <analyzer type="query">
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
        <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
        <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>

    </fieldType>  

复制代码

需要分析的字段类型一般是这样的,name指定了字段类型的名称,就像是数据库的nvarchar这样的名字一样。class指明这个类型对应的是什么的java数据类型,在字段定义中你可以定义分析器,分析器有两种,索引分析器和查询分析器,对于每个字段类型,你只能指定一个查询分析器和一个索引分析器。分析用来对字段的内容进行分词,过滤,转换等等,我们可以看到在分析器的节点内定义了一系列的处理步骤,这些步骤是有序的。从分析器的类型也就可以直观的了解到,索引分析器用于建立索引时,查询索引器用于查询时。如果字段类型仅指定了一个分析器,并且没有指定类型,说明索引和查询都使用这个分析器。

   有了字段类型,我们就可以定义需要处理的文档的所具有的字段了。我们可以看到,在schema文件中本身已经定义了很多的字段,它们都位于<fields>节点内。这些字段是为例子数据文档准备的,如果你需要的处理文档足够简单并且本身是英文的,那么你甚至都不需要修改Schema文件,直接利用这些字段就可以了。当然只是偷懒的做法,如果用于练习是足够了,如果用于生产环境,还是把不需要的字段删掉吧。删除的时候注意,不要把dynamicField的内容删掉了,这些dynamicField是又特殊含义的,他们的名字都像name="*_i"一样有个"*_"的前缀。如果你不想在schema中定义这个字段又想存贮这个字段的值,那么在向Solr传地文档内容的时候,把字段名名为"_i"后缀,那么字段的值就会按<dynamicField name="*_i"  type="int"    indexed="true"  stored="true"/>定义的动态字段的属性来存储,同样的道理,查询也是一样的。在字段定义时,你可以指定几个attribute,那么当时是指字段的名字,type指定的是字段的类型,字段的类型当然指的就是前面定义的类型,这个类型决定了该字段的内容如何被索引和查询,indexed是个布尔值,指示该字段是否被索引,stored指示该字段的内容是否被存储,如果你的查询只是返回是否命中,并不返回字段的内容或者高亮内容中的某些部分的,可以将该属性的值设定为false,multiValued指示该字段是否存储多个值。

            defaultSearchField用来指定,如果查询时没有指定字段名称时查询哪个字段的索引值。

    solrQueryParser 指示如果查询中包含了两个term,并且没有指定逻辑运算符的时候我们默认用什么逻辑运算符,一般来说我们都会默认是OR。

    上边就Schema的定义了, 后边我写Solr处理中文文档的时候,会稍微详细的再介绍一下这个部分,如果你处理的只是英文文档的话,类型基本不用修改了,只用定义自己需要的字段就可以了。






本文转自纶巾客博客园博客,原文链接:http://www.cnblogs.com/guanjinke/archive/2011/12/12/2285364.html,如需转载请自行联系原作者
目录
相关文章
|
新零售 自然语言处理 运维
一文详解 | 开放搜索兼容Elasticsearch做召回引擎
开放搜索发布开源兼容版,支持阿里云Elasticsearch做搜索召回引擎,本文详细介绍阿里云ES用户如何通过接入开放搜索兼容版丰富行业分词库,提升查询语义理解能力,无需开发、算法投入,即可获得淘系同款搜索效果。
1589 0
|
3月前
|
存储 缓存 大数据
ClickHouse核心概念详解:表引擎与数据模型
【10月更文挑战第26天】在大数据时代,数据处理的速度和效率变得至关重要。ClickHouse,作为一个列式存储数据库系统,以其高效的查询性能和强大的数据处理能力而受到广泛欢迎。本文将从我个人的角度出发,详细介绍ClickHouse的核心概念,特别是其表引擎和数据模型,以及这些特性如何影响数据的存储和查询。
107 1
|
8月前
|
数据库 索引
Elasticsearch索引别名:管理与优化数据访问
Elasticsearch索引别名:管理与优化数据访问
127 2
|
8月前
|
存储 监控 数据挖掘
Elasticsearch 别名:灵活索引管理的利器
Elasticsearch 别名:灵活索引管理的利器
|
8月前
|
SQL 人工智能 关系型数据库
【DDIA笔记】【ch2】 数据模型和查询语言 -- 文档模型中Schema的灵活性
【6月更文挑战第8天】网状模型是层次模型的扩展,允许节点有多重父节点,但导航复杂,需要预知数据库结构。关系模型将数据组织为元组和关系,强调声明式查询,解耦查询语句与执行路径,简化了访问并通过查询优化器提高效率。文档型数据库适合树形结构数据,提供弱模式灵活性,但在Join支持和访问局部性上不如关系型。关系型数据库通过外键和Join处理多对多关系,适合高度关联数据。文档型数据库的模式灵活性体现在schema-on-read,写入时不校验,读取时解析,牺牲性能换取灵活性。适用于不同类型或结构变化的数据场景。
65 0
|
JSON 关系型数据库 MySQL
MySQL全文搜索与JSON支持:高效检索与灵活数据处理
本文深入探讨了MySQL数据库中的全文搜索与JSON支持,通过详细的代码示例,阐述了全文搜索的原理、全文索引的创建,以及JSON数据类型的使用与操作。全文搜索在数据库中的重要性日益凸显,MySQL提供了全文索引来实现高效的文本数据检索,通过MATCH AGAINST语句,可以轻松地进行全文搜索操作。此外,MySQL的JSON支持为半结构化数据的存储和查询提供了灵活的解决方案,您可以存储JSON对象、数组等数据,并使用JSON函数来查询和修改数据。
1132 0
|
索引
18Solr管理索引库
18Solr管理索引库
30 0
|
存储 JSON 自然语言处理
40-微服务技术栈(高级):分布式搜索引擎ElasticSearch(DSL语法、搜索结果[排序/分页/高亮]处理)
在前面的学习中,笔者带领大家完成海量数据导入ES,实现了ES基本的存储功能,但是我们知道ES最擅长的还是搜索、数据分析。所以本节笔者将继续带领大家研究一下ES的数据搜索功能,同上节一样,继续分别采用DSL和RestClient实现搜索。
162 0
|
存储 NoSQL 关系型数据库
利用聚合概念指导MongoDB的Schema设计
利用聚合概念指导MongoDB的Schema设计
利用聚合概念指导MongoDB的Schema设计
Solr Schema配置小细节大问题
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里
120 0