中文分词之Java实现使用IK Analyzer实现

简介: 中文分词之Java实现使用IK Analyzer实现

IK Analyzer是基于lucene实现的分词开源框架

需要在项目中引入:

IKAnalyzer2012FF_u1.jar  --- FF 代表for lucene 4.0(four)

lucene-core-4.0.0.jar

示例代码如下(使用IK Analyzer):

package com.haha.test;  
import java.io.IOException;  
import java.io.StringReader;  
import org.apache.lucene.analysis.Analyzer;  
import org.apache.lucene.analysis.TokenStream;  
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;  
import org.wltea.analyzer.lucene.IKAnalyzer;  
public class Test2 {  
    public static void main(String[] args) throws IOException {  
        String text="基于java语言开发的轻量级的中文分词工具包";  
        //创建分词对象  
        Analyzer anal=new IKAnalyzer(true);       
        StringReader reader=new StringReader(text);  
        //分词  
        TokenStream ts=anal.tokenStream("", reader);  
        CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);  
        //遍历分词数据  
        while(ts.incrementToken()){  
            System.out.print(term.toString()+"|");  
        }  
        reader.close();  
        System.out.println();  
    }  
}

运行后结果:

基于|java|语言|开发|的|轻量级|的|中文|分词|工具包|


目录
相关文章
|
自然语言处理 Java 数据库连接
|
自然语言处理 安全 Java
|
自然语言处理 Java Spring
Elasticsearch 默认配置 IK 及 Java AnalyzeRequestBuilder 使用
一、什么是 Elasticsearch-analysis-ik 二、默认配置 IK 三、使用 AnalyzeRequestBuilder 获取分词结果 四、小结
5332 0
|
机器学习/深度学习 自然语言处理 算法
|
机器学习/深度学习 自然语言处理 算法
|
机器学习/深度学习 Java API
elasticsearch 2.3.4 java API 连接,ik分词器,设置集群节点,创建index,mapping的几种方式
1、默认集群连接 Client client = TransportClient.builder().build() .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("localhost"), 9300)); 2、自定义集群连接 Settings
3885 0
|
自然语言处理 Java 索引
Java中文分词工具AnsjSeg使用
        中文分词是进行中文文本分析的一个重要步骤。对于Java语言,有许多可选的分词工具,如中科院计算所的NLPIR(原ICTCLASS)、盘古分词、IKAnalyzer、PaodingAnalyzer,其中,试...
2086 0
|
2月前
|
安全 算法 Java
Java 多线程:线程安全与同步控制的深度解析
本文介绍了 Java 多线程开发的关键技术,涵盖线程的创建与启动、线程安全问题及其解决方案,包括 synchronized 关键字、原子类和线程间通信机制。通过示例代码讲解了多线程编程中的常见问题与优化方法,帮助开发者提升程序性能与稳定性。
110 0

热门文章

最新文章