Lucene5学习之使用MMSeg4j分词器

简介:

     MMSeg4j是一款中文分词器,详细介绍如下:

       1、mmseg4j 用 Chih-Hao Tsai 的 MMSeg 算法(http://technology.chtsai.org/mmseg/ )实现的中文分词器,并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。

 

       2、MMSeg 算法有两种分词方法:Simple和Complex,都是基于正向最大匹配。Complex 加了四个规则过虑。官方说:词语的正确识别率达到了 98.41%。mmseg4j 已经实现了这两种分词算法。

 

1.5版的分词速度simple算法是 1100kb/s左右、complex算法是 700kb/s左右,(测试机:AMD athlon 64 2800+ 1G内存 xp)。

1.6版在complex基础上实现了最多分词(max-word)。“很好听” -> "很好|好听"; “中华人民共和国” -> "中华|华人|共和|国"; “中国人民银行” -> "中国|人民|银行"。

1.7-beta 版, 目前 complex 1200kb/s左右, simple 1900kb/s左右, 但内存开销了50M左右. 上几个版都是在10M左右

       可惜的是,MMSeg4j最新版1.9.1不支持Lucene5.0,于是我就修改了它的源码将它升级咯,使其支持Lucene5.x,至于我是怎样修改,这里就不一一说明的,我把我修改过的MMSeg4j最新源码上传到了我的百度网盘,现分享给你们咯:

       mmseg4j-1.9.1源码

       mmseg4j-1.9.2源码(支持Lucene5.x)

      

       下面是一个MMSeg4j分词器简单使用示例:

Java代码   收藏代码
  1. package com.chenlb.mmseg4j.analysis;  
  2.   
  3. import java.io.IOException;  
  4.   
  5. import org.apache.lucene.analysis.Analyzer;  
  6. import org.apache.lucene.analysis.TokenStream;  
  7. import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;  
  8. import org.apache.lucene.analysis.tokenattributes.OffsetAttribute;  
  9. import org.apache.lucene.analysis.tokenattributes.PositionIncrementAttribute;  
  10. import org.apache.lucene.analysis.tokenattributes.TypeAttribute;  
  11. import org.junit.Assert;  
  12. import org.junit.Before;  
  13. import org.junit.Ignore;  
  14. import org.junit.Test;  
  15. /** 
  16.  * MMSegAnalyzer分词器测试 
  17.  * @author Lanxiaowei 
  18.  * 
  19.  */  
  20. public class MMSegAnalyzerTest {  
  21.   
  22.     String txt = "";  
  23.   
  24.     @Before  
  25.     public void before() throws Exception {  
  26.         txt = "京华时报2009年1月23日报道 昨天,受一股来自中西伯利亚的强冷空气影响,本市出现大风降温天气,白天最高气温只有零下7摄氏度,同时伴有6到7级的偏北风。";  
  27.         txt = "2009年ゥスぁま是中 ABcc国абвгαβγδ首次,我的ⅠⅡⅢ在chenёlbēū全国ㄦ范围ㄚㄞㄢ内①ē②㈠㈩⒈⒑发行地方政府债券,";  
  28.         txt = "大S小3U盘浙BU盘T恤T台A股牛B";  
  29.     }  
  30.   
  31.     @Test  
  32.     //@Ignore  
  33.     public void testSimple() throws IOException {  
  34.         Analyzer analyzer = new SimpleAnalyzer();  
  35.         displayTokens(analyzer,txt);  
  36.     }  
  37.   
  38.     @Test  
  39.     @Ignore  
  40.     public void testComplex() throws IOException {  
  41.         //txt = "1999年12345日报道了一条新闻,2000年中法国足球比赛";  
  42.         /*txt = "第一卷 云天落日圆 第一节 偷欢不成倒大霉"; 
  43.         txt = "中国人民银行"; 
  44.         txt = "我们"; 
  45.         txt = "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作";*/  
  46.         //ComplexSeg.setShowChunk(true);  
  47.         Analyzer analyzer = new ComplexAnalyzer();  
  48.         displayTokens(analyzer,txt);  
  49.     }  
  50.   
  51.     @Test  
  52.     @Ignore  
  53.     public void testMaxWord() throws IOException {  
  54.         //txt = "1999年12345日报道了一条新闻,2000年中法国足球比赛";  
  55.         //txt = "第一卷 云天落日圆 第一节 偷欢不成倒大霉";  
  56.         //txt = "中国人民银行";  
  57.         //txt = "下一个 为什么";  
  58.         //txt = "我们家门前的大水沟很难过";  
  59.         //ComplexSeg.setShowChunk(true);  
  60.         Analyzer analyzer = new MaxWordAnalyzer();  
  61.         displayTokens(analyzer,txt);  
  62.     }  
  63.   
  64.     /*@Test 
  65.     public void testCutLeeterDigitFilter() { 
  66.         String myTxt = "mb991ch cq40-519tx mmseg4j "; 
  67.         List<String> words = toWords(myTxt, new MMSegAnalyzer("") { 
  68.  
  69.             @Override 
  70.             protected TokenStreamComponents createComponents(String text) { 
  71.                 Reader reader = new BufferedReader(new StringReader(text)); 
  72.                 Tokenizer t = new MMSegTokenizer(newSeg(), reader); 
  73.                 return new TokenStreamComponents(t, new CutLetterDigitFilter(t)); 
  74.             } 
  75.  
  76.              
  77.         }); 
  78.  
  79.         //Assert.assertArrayEquals("CutLeeterDigitFilter fail", words.toArray(new String[words.size()]), "mb 991 ch cq 40 519 tx mmseg 4 j".split(" ")); 
  80.         for(String word : words) { 
  81.             System.out.println(word); 
  82.         } 
  83.     }*/  
  84.       
  85.     public static void displayTokens(Analyzer analyzer,String text) throws IOException {  
  86.         TokenStream tokenStream = analyzer.tokenStream("text", text);  
  87.         displayTokens(tokenStream);  
  88.     }  
  89.       
  90.     public static void displayTokens(TokenStream tokenStream) throws IOException {  
  91.         OffsetAttribute offsetAttribute = tokenStream.addAttribute(OffsetAttribute.class);  
  92.         PositionIncrementAttribute positionIncrementAttribute = tokenStream.addAttribute(PositionIncrementAttribute.class);  
  93.         CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);  
  94.         TypeAttribute typeAttribute = tokenStream.addAttribute(TypeAttribute.class);  
  95.           
  96.         tokenStream.reset();  
  97.         int position = 0;  
  98.         while (tokenStream.incrementToken()) {  
  99.             int increment = positionIncrementAttribute.getPositionIncrement();  
  100.             if(increment > 0) {  
  101.                 position = position + increment;  
  102.                 System.out.print(position + ":");  
  103.             }  
  104.             int startOffset = offsetAttribute.startOffset();  
  105.             int endOffset = offsetAttribute.endOffset();  
  106.             String term = charTermAttribute.toString();  
  107.             System.out.println("[" + term + "]" + ":(" + startOffset + "-->" + endOffset + "):" + typeAttribute.type());  
  108.         }  
  109.     }  
  110.       
  111.     /** 
  112.      * 断言分词结果 
  113.      * @param analyzer 
  114.      * @param text        源字符串 
  115.      * @param expecteds   期望分词后结果 
  116.      * @throws IOException  
  117.      */  
  118.     public static void assertAnalyzerTo(Analyzer analyzer,String text,String[] expecteds) throws IOException {  
  119.         TokenStream tokenStream = analyzer.tokenStream("text", text);  
  120.         CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);  
  121.         for(String expected : expecteds) {  
  122.             Assert.assertTrue(tokenStream.incrementToken());  
  123.             Assert.assertEquals(expected, charTermAttribute.toString());  
  124.         }  
  125.         Assert.assertFalse(tokenStream.incrementToken());  
  126.         tokenStream.close();  
  127.     }  
  128. }  

 

    mmseg4j分词器有3个字典文件,如图:

       chars.dic是汉字字典文件,里面有12638个汉字

       units.dic里是中文单位词语,如小时,分钟,米,厘米等等,具体自己打开看看就明白了

       words.dic就是用户自定义字典文件,比如:么么哒,T恤,牛B等这些词,放在这个字典文件里,分词器就能把它当作一个词

      我们在使用mmseg4j分词器时,是这样用的:

Java代码   收藏代码
  1. Analyzer analyzer = new SimpleAnalyzer();  

      查看SimpleAnalyzer的构造函数,

Java代码   收藏代码
  1. public SimpleAnalyzer() {  
  2.     super();  
  3. }  

   调用的是父类MMSegAnalyzer的无参构造函数,接着查看MMSegAnalyzer类的无参构造函数:

Java代码   收藏代码
  1. public MMSegAnalyzer() {  
  2.     dic = Dictionary.getInstance();  
  3. }  

    你会发现是通过Dictionary.getInstance()单实例模式去加载字典文件的,接着查看getInstance方法,

 这里的代码注释写的很清楚,告诉了我们字典文件的加载逻辑。

File path = getDefalutPath();用来获取默认的字典文件路径,

然后根据字典文件路径调用getInstance(path)方法去加载字典文件,接着查看该方法,


 先从缓存dics里去字典文件,如果缓存里没有找到,则才会根据字典文件路径去加载,然后把加载到的字典文件放入缓存dics即dics.put(),

      接着看看Dictionary字典是如何初始化的,查看Dictionary的构造函数源码:

      你会发现内部实际是通过调用init(path);方法进行字典初始化的,继续查阅init方法,

      内部又是调用的reload方法加载的字典,继续跟踪至reload方法,

      内部通过loadDic去加载words和chars两个字典文件,通过loadUnit方法去加载units字典文件,wordsLastTime是用来存放每个字典文件的最后一次修改时间,引入这个map的目的是为了实现字典文件重新加载,通过字典文件的最后一次修改时间来判定文件是否修改过,如果这个map里不存在某字典文件的最后一次修改时间,则表明该字典文件是新加入的,需要重新加载至内存,这是loadDic方法的源码:

     

Java代码   收藏代码
  1. private Map<Character, CharNode> loadDic(File wordsPath) throws IOException {  
  2.         InputStream charsIn = null;  
  3.         File charsFile = new File(wordsPath, "chars.dic");  
  4.         if(charsFile.exists()) {  
  5.             charsIn = new FileInputStream(charsFile);  
  6.             addLastTime(charsFile); //chars.dic 也检测是否变更  
  7.         } else {    //从 jar 里加载  
  8.             charsIn = this.getClass().getResourceAsStream("/data/chars.dic");  
  9.             charsFile = new File(this.getClass().getResource("/data/chars.dic").getFile()); //only for log  
  10.         }  
  11.         final Map<Character, CharNode> dic = new HashMap<Character, CharNode>();  
  12.         int lineNum = 0;  
  13.         long s = now();  
  14.         long ss = s;  
  15.         lineNum = load(charsIn, new FileLoading() { //单个字的  
  16.   
  17.             public void row(String line, int n) {  
  18.                 if(line.length() < 1) {  
  19.                     return;  
  20.                 }  
  21.                 String[] w = line.split(" ");  
  22.                 CharNode cn = new CharNode();  
  23.                 switch(w.length) {  
  24.                 case 2:  
  25.                     try {  
  26.                         cn.setFreq((int)(Math.log(Integer.parseInt(w[1]))*100));//字频计算出自由度  
  27.                     } catch(NumberFormatException e) {  
  28.                         //eat...  
  29.                     }  
  30.                 case 1:  
  31.   
  32.                     dic.put(w[0].charAt(0), cn);  
  33.                 }  
  34.             }  
  35.         });  
  36.         log.info("chars loaded time="+(now()-s)+"ms, line="+lineNum+", on file="+charsFile);  
  37.   
  38.         //try load words.dic in jar  
  39.         InputStream wordsDicIn = this.getClass().getResourceAsStream("/data/words.dic");  
  40.         if(wordsDicIn != null) {  
  41.             File wordsDic = new File(this.getClass().getResource("/data/words.dic").getFile());  
  42.             loadWord(wordsDicIn, dic, wordsDic);  
  43.         }  
  44.   
  45.         File[] words = listWordsFiles();    //只要 wordsXXX.dic的文件  
  46.         if(words != null) { //扩展词库目录  
  47.             for(File wordsFile : words) {  
  48.                 loadWord(new FileInputStream(wordsFile), dic, wordsFile);  
  49.   
  50.                 addLastTime(wordsFile); //用于检测是否修改  
  51.             }  
  52.         }  
  53.   
  54.         log.info("load all dic use time="+(now()-ss)+"ms");  
  55.         return dic;  
  56.     }  

    大致逻辑就是先加载chars.dic再加载words.dic,最后加载用户自定义字典文件,注意用户自定义字典文件命名需要以words开头且文件名后缀必须为.dic,查找所有用户自定义字典文件是这句代码:

Java代码   收藏代码
  1. File[] words = listWordsFiles();  

    

    注意:dicPath.listFiles表示查找dicPath目录下所有文件,dicPath即我们的words.dic字典文件的所在路径,而重载的accept的意思我想大家都懂的,关键点我用红色方框标注出来了,这句代码意思就是查找words.dic字典文件所在文件夹下的以words开头的dic字典文件,包含子文件夹里的字典文件(即递归查找,你懂的)。看到这里,我想至于如何自定义用户自定义字典文件,大家都不言自明了。为了照顾小白,我还是说清楚点吧,自定义用户字典文件方法步骤如下:

     如果你想把屌丝,高富帅 当作一个词,那你首先需要新建一个.dic文件,注意dic文件必须是无BOM的UTF-8编码的文件(切记!!!!!!),且自定义字典文件命名需要符合上面说过的那种固定格式,不知道的请看上面那张图,看仔细点,然后一行一个词,你懂的,然后把你自定义的字典文件复制到classPath下的data文件夹下,如果你是简单的Java project,那么就在src下新建一个data包,然后 把你自定义字典文件copy到data包下,如果你是Maven Project,那就在src/main/sources包下新建一个package  名字叫data,同理把你自定义字典文件复制到data包下即可。这样你的自定义词就能被分词器正确切分啦!

       mmseg4j就说这么多了吧,mmseg4j我修改过的最新源码上面有贴出百度网盘下载地址,自己去下载,jar包在target目录下,如图:



 

     从我提供的下载地址下载的最新源码包里有打包好的jar包,如图去找就行了,当然为了方便你们,我待会儿也会在底下的附件里将打包的jar包上传上去。

 

     OK,打完收工!!!!如果你还有什么问题,请QQ上联系我(QQ:7-3-6-0-3-1-3-0-5),或者加我的Java技术群跟我们一起交流学习,我会非常的欢迎的。群号:

 

转载:http://iamyida.iteye.com/blog/2207633

目录
相关文章
|
自然语言处理 搜索推荐 索引
白话Elasticsearch28-IK中文分词之IK中文分词器的安装和使用
白话Elasticsearch28-IK中文分词之IK中文分词器的安装和使用
84 0
|
自然语言处理 Java
中文分词之Java实现使用IK Analyzer实现
中文分词之Java实现使用IK Analyzer实现
588 0
|
自然语言处理 算法 架构师
Lucene优化(分词器的选择) | 学习笔记
快速学习Lucene优化(分词器的选择)。
92 0
Lucene优化(分词器的选择) | 学习笔记
|
人工智能 自然语言处理 算法
es实战-使用IK分词器进行词频统计
通过IK分词器分词并生成词云
1189 0
es实战-使用IK分词器进行词频统计
|
自然语言处理
HanLP-实词分词器详解
在进行文本分类(非情感分类)时,我们经常只保留实词(名、动、形)等词,为了文本分类的分词方便,HanLP专门提供了实词分词器类NotionalTokenizer,同时在分类数据集加载处理时,默认使用了NotionalTokenizer分词器。
1672 0
|
自然语言处理 Java Maven
HanLP中文分词Lucene插件
基于HanLP,支持包括Solr(7.x)在内的任何基于Lucene(7.x)的系统。
1977 0
|
自然语言处理 Java 索引
HanLPTokenizer HanLP分词器
anlp在功能上的扩展主要体现在以下几个方面:•关键词提取 •自动摘要•短语提取 •拼音转换•简繁转换•文本推荐 下面是 hanLP分词器的代码 注:使用maven依赖      com.hankcs     hanlp     portable-1.
1605 0
|
自然语言处理 Java

热门文章

最新文章