开源中文分词框架分词效果对比smartcn与IKanalyzer

 1 package dictTest;
 2 
 3 import java.util.Iterator;
 4 
 5 import org.apache.lucene.analysis.TokenStream;
 6 import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
 7 import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
 8 import org.apache.lucene.analysis.util.CharArraySet;
 9 import org.apache.lucene.util.Version;
10 
11 public class SmartChineseAnalyzerTest {
12 
13     public static void main(String[] args) {
14         try {
15             // 要处理的文本
16             String text = "lucene分析器使用分词器和过滤器构成一个“管道”，文本在流经这个管道后成为可以进入索引的最小单位，因此，一个标准的分析器有两个部分组成，一个是分词器tokenizer,它用于将文本按照规则切分为一个个可以进入索引的最小单位。另外一个是TokenFilter，它主要作用是对切出来的词进行进一步的处理（如去掉敏感词、英文大小写转换、单复数处理）等。lucene中的Tokenstram方法首先创建一个tokenizer对象处理Reader对象中的流式文本，然后利用TokenFilter对输出流进行过滤处理";
17             //String text = "目前我已经用了lucene4.0，虽然是alpha版，但是也是未来的第一步。但是IKAnalyzer不支持lucene4，如果作者在，是否有计划对4支持？何时支持？";
18             // 自定义停用词
19             String[] self_stop_words = { "的", "在","了", "呢", "，", "0", "：", ",", "是", "流" };
20             CharArraySet cas = new CharArraySet(Version.LUCENE_46, 0, true);
21             for (int i = 0; i < self_stop_words.length; i++) {
22                 cas.add(self_stop_words[i]);
23             }
24 
25             // 加入系统默认停用词
26             Iterator<Object> itor = SmartChineseAnalyzer.getDefaultStopSet().iterator();
27             while (itor.hasNext()) {
28                 cas.add(itor.next());
29             }
30             
31 
32             // 中英文混合分词器(其他几个分词器对中文的分析都不行)
33             SmartChineseAnalyzer sca = new SmartChineseAnalyzer(Version.LUCENE_46, cas);
34 
35             TokenStream ts = sca.tokenStream("field", text);
36             CharTermAttribute ch = ts.addAttribute(CharTermAttribute.class);
37 
38             ts.reset();
39             while (ts.incrementToken()) {
40                 System.out.print(ch.toString()+"\\");
41             }
42             ts.end();
43             ts.close();
44         } catch (Exception ex) {
45             ex.printStackTrace();
46         }
47     }
48 
49 }

 1 package dictTest;
 2 
 3 import org.wltea.analyzer.*;
 4 import org.apache.lucene.analysis.Analyzer;
 5 import org.apache.lucene.analysis.TokenStream;
 6 import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
 7 import org.wltea.analyzer.lucene.*;
 8 
 9 public class IKAnalyzerTest {
10 
11     public static void main(String[] args) {
12         // TODO Auto-generated method stub
13         Analyzer ik  = new IKAnalyzer();
14         try{
15             String text = "lucene分析器使用分词器和过滤器构成一个“管道”，文本在流经这个管道后成为可以进入索引的最小单位，因此，一个标准的分析器有两个部分组成，一个是分词器tokenizer,它用于将文本按照规则切分为一个个可以进入索引的最小单位。另外一个是TokenFilter，它主要作用是对切出来的词进行进一步的处理（如去掉敏感词、英文大小写转换、单复数处理）等。lucene中的Tokenstram方法首先创建一个tokenizer对象处理Reader对象中的流式文本，然后利用TokenFilter对输出流进行过滤处理";
16             TokenStream ts = ik.tokenStream("field", text);
17             
18             CharTermAttribute ch = ts.addAttribute(CharTermAttribute.class);
19 
20             ts.reset();
21             while (ts.incrementToken()) {
22                 //System.out.println(ch.toString());
23                 System.out.print(ch.toString() + "\\");
24             }
25             ts.end();
26             ts.close();
27             
28         } catch (Exception ex) {
29             ex.printStackTrace();
30         }    
31         
32     }
33 }