开发者社区> 聂晨> 正文

solr6.6初探之分词篇

简介: 关于solr6.6搭建与配置可以参考 solr6.6初探之配置篇 在这里我们探讨一下分词的配置   一.关于分词 1.分词是指将一个中文词语拆成若干个词,提供搜索引擎进行查找,比如说:北京大学 是一个词那么进行拆分可以得到:北京与大学,甚至北京大学整个词也是一个语义 2.
+关注继续查看

 

关于solr6.6搭建与配置可以参考 solr6.6初探之配置篇 在这里我们探讨一下分词的配置

 

一.关于分词

1.分词是指将一个中文词语拆成若干个词,提供搜索引擎进行查找,比如说:北京大学 是一个词那么进行拆分可以得到:北京与大学,甚至北京大学整个词也是一个语义

2.市面上常见的分词工具有 IKAnalyzer MMSeg4j  Paoding等,这几个分词器各有优劣,大家可以自行研究

在这篇文章,我先演示IKAnalyzer分词器 下载:IKAnalyzer

 

二 拷贝相关Jar包与配置

1.下载得到后有如下文件:

 

 

ext.dic是分词文件,这个是我们常操作的文件,可以在这个里面配置我们自己定义的词汇

IKAnalyzer.cfg.xml是配置查找词典的位置

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">  
<properties>  
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict">ext.dic;</entry> 
	
	<!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords">stopword.dic;</entry> 
	
</properties>

 

2. 将配置文件和词典拷贝至${solr.home}/server/solr-webapp/webapp/WEB-INF/classes 下,没有classes文件请手动创建

3.将jar文件拷贝至${solr.home}/server/solr-webapp/webapp/WEB-INF/libs下

4.在 ${solr.home}\${core.home}\conf\managed-schema 文件前增加如下配置

<!-- IK分词器 -->
    <fieldType name="text_ik" class="solr.TextField">
      <analyzer type="index">
          <tokenizer class="org.apache.lucene.analysis.ik.IKTokenizerFactory" useSmart="true"/>
        </analyzer>
        <analyzer type="query">
          <tokenizer class="org.apache.lucene.analysis.ik.IKTokenizerFactory" useSmart="true"/>
      </analyzer>
    </fieldType>

 

三:验证分词

1.启动solr6.6

2.请在如下界面选择测试分词效果:

 

 

 

 

注意filedType一定选择我们配置的分词类型text_ik

 

附上ext.dic 可以看到我在对诛仙2进行分词时得到 诛仙和诛仙2的分解结果,注意一行一个分词

 

 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
solr 实现 中文分词,IK Analyzer
solr默认是不支持中文分词的,这样就需要我们手工配置中文分词器,在这里我们选用IK Analyzer中文分词器。 IK Analyzer下载地址:https://code.google.com/p/ik-analyzer/downloads/list 如图:     默认大家已经下载并解压了solr,在这里我们使用solr 4.10.4版本
2251 0
+关注
聂晨
专注于java后端技术,热衷于开源框架的源码阅读,曾经的老码农,现着力于高端IT人才的发现与培养
文章
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载