备案控制台
开发者社区 人工智能 文章 正文

Lucene.Net 2.3.1开发介绍 —— 二、分词（一）

2015-06-26 986
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 原文:Lucene.Net 2.3.1开发介绍 —— 二、分词（一）Lucene.Net中，分词是核心库之一，当然，也可以将它独立出来。目前Lucene.Net的分词库很不完善，实际应用价值不高。唯一能用在实际场合的StandardAnalyzer类，效果也不是很好。
原文: Lucene.Net 2.3.1开发介绍 —— 二、分词（一）

Lucene.Net中，分词是核心库之一，当然，也可以将它独立出来。目前Lucene.Net的分词库很不完善，实际应用价值不高。唯一能用在实际场合的StandardAnalyzer类，效果也不是很好。内置在Lucene.Net里的分词都被放在项目的Analysis目录下，也就是Lucene.Net.Analysis命名空间下。分词类的命名一般都是以“Analyzer”结束，比如StandardAnalyzer，StopAnalyzer，SimpleAnalyzer等。全部继承自Analyzer类。而它们一般各有一个辅助类，一般以”“Tokenizer”结尾，分词的逻辑大都在辅助类完成。

使用Lucene.Net，要很好地使用Lucene.Net，必须理解分词，甚至能自己扩展分词。如果只使用拉丁语系，那么使用内置的分词可能足够了，但是对于中文肯定是不行的。目前中文方面的分词分为单字分词，二元分词，词库匹配，语义理解这几种。StandardAnalyzer类就是按单字分，二元分就是把两个字作为一组拆分，而词库的话肯定是有一个复杂的对比过程，语义理解的就更加复杂了。这是分词的方式，而匹配的方式也分为正向和逆向两种，一般逆向要优于正向，但是写起来也要复杂一些。

 

1、内置分词器

本节将详细介绍Lucene.Net内置分词的效果，工作过程，及整体结构。

 

1.1、分词效果

 

1.1.1 如果得到分词效果

如果得到分词效果？有效的方式就是进行测试。这里将引入自动测试的方法，这样更加便于测试，将使用NUnit来完成。Nunit的简单实用方法见附录二。

创建一个新的项目，命名为Test。步骤如图 1.1.1.1 - 1.1.1.2

图1.1.1.1

 

图 1.1.1.2

 

点确定，就加入了新项目Test，选择类库模板。再引用Nunit.framework类库。如图 1.1.1.3。

 

图 1.1.1.3

 

再按第一章节的步骤引入Lucene.Net类库。先来试试SimpleAnalyzer类的效果。在Test项目中添加SimpleAnalyzerTest，代码 1.1.1.1。

 

代码 1.1.1.1

 

Code
 1using System;
 2using System.Collections.Generic;
 3using System.Text;
 4using NUnit.Framework;
 5using Lucene.Net.Analysis;
 6using System.IO;
 7namespace Test
 8{
 9    [TestFixture]
10    public class SimpleAnalyzerTest
11    {
12        [Test]
13        public void ReusableTokenStreamTest()
14        {
15            string testwords = "我是中国人，I can speak chinese!";
16
17            SimpleAnalyzer simple = new SimpleAnalyzer();
18            TokenStream ts = simple.ReusableTokenStream("", new StringReader(testwords));
19            Token token;
20            while ((token = ts.Next()) != null)
21            {
22                Console.WriteLine(token.TermText());
23            }
24            ts.Close();
25        }
26    }
27}
28

 

运行结果：

 

我是中国人
i
can
speak
chinese

查看这个结果，基本可以确定，SimpleAnalyzer分词就是以空格或符号为断点，把句子分析出来。对于英文大写还会执行一个转换到小写的操作。

 

1.1.2 内置分词的分词效果

按照1.1.1节介绍的方式，就可以分析分析效果了。不过这样写出来的测试代码过于麻烦，改造一下。

（1）、在Test项目中新建Analysis目录；

（2）、在Analysis下建立TestData类，代码1.1.2.1；

 

代码1.1.2.1

 

Code
 1using System;
 2using System.Collections.Generic;
 3using System.Text;
 4
 5namespace Test.Analysis
 6{
 7    public class TestData
 8    {
 9        public static string TestWords = "我是中国人，I can speak chinese!";
10    }
11}
12

 

（3）、建立TestFactory类，代码1.1.2.2

 

代码1.1.2.2

 

Code
 1using System;
 2using System.Collections.Generic;
 3using System.Text;
 4using Lucene.Net.Analysis;
 5using System.IO;
 6
 7namespace Test.Analysis
 8{
 9    public class TestFactory
10    {
11        public static void TestFunc(Analyzer analyzer)
12        {
13            TokenStream ts = analyzer.ReusableTokenStream("", new StringReader(TestData.TestWords));
14            Token token;
15            while ((token = ts.Next()) != null)
16            {
17                Console.WriteLine(token.TermText());
18            }
19            ts.Close();
20        }
21    }
22}

 

（4）、建立AllAnalysisTest类，代码1.1.2.3

 

代码1.1.2.3

 

Code
 1using System;
 2using System.Collections.Generic;
 3using System.Text;
 4using NUnit.Framework;
 5using Lucene.Net.Analysis;
 6using Lucene.Net.Analysis.Standard;
 7namespace Test.Analysis
 8{
 9    [TestFixture]
10    public class AllAnalysisTest
11    {
12        [Test]
13        public void TestMethod()
14        {
15            List<Analyzer> analysis = new List<Analyzer>() { 
16                new KeywordAnalyzer(),
17                new SimpleAnalyzer(),
18                new StandardAnalyzer(),
19                new StopAnalyzer(),
20                new WhitespaceAnalyzer() };
21
22            for (int i = 0; i < analysis.Count; i++)
23            {
24                Console.WriteLine(analysis[i].ToString() + "结果:");
25                Console.WriteLine("--------------------------------");
26                TestFactory.TestFunc(analysis[i]);
27                Console.WriteLine("--------------------------------");
28            }
29        }
30    }
31}
32

 

（5）、运行。

 

对于TestWords = "我是中国人，I can speak chinese!";测试结果：

 

Lucene.Net.Analysis.KeywordAnalyzer结果:
--------------------------------
我是中国人，I can speak chinese!
--------------------------------
Lucene.Net.Analysis.SimpleAnalyzer结果:
--------------------------------
我是中国人
i
can
speak
chinese
--------------------------------
Lucene.Net.Analysis.Standard.StandardAnalyzer结果:
--------------------------------
我
是
中
国
人
i
can
speak
chinese
--------------------------------
Lucene.Net.Analysis.StopAnalyzer结果:
--------------------------------
我是中国人
i
can
speak
chinese
--------------------------------
Lucene.Net.Analysis.WhitespaceAnalyzer结果:
--------------------------------
我是中国人，I
can
speak
chinese!
--------------------------------

 

换一句话试试：更改TestData类TestWords字段值为“我是中国人，I'can speak chinese,ｈｅｌｌｏ　ｗｏｒｌｄ，沪江小Q!”。测试结果：

 

Lucene.Net.Analysis.KeywordAnalyzer结果:
--------------------------------
我是中国人，I'can speak chinese,ｈｅｌｌｏ　ｗｏｒｌｄ，沪江小Q!
--------------------------------
Lucene.Net.Analysis.SimpleAnalyzer结果:
--------------------------------
我是中国人
i
can
speak
chinese
ｈｅｌｌｏ
ｗｏｒｌｄ
沪江小q
--------------------------------
Lucene.Net.Analysis.Standard.StandardAnalyzer结果:
--------------------------------
我
是
中
国
人
i'can
speak
chinese
沪
江
小
q
--------------------------------
Lucene.Net.Analysis.StopAnalyzer结果:
--------------------------------
我是中国人
i
can
speak
chinese
ｈｅｌｌｏ
ｗｏｒｌｄ
沪江小q
--------------------------------
Lucene.Net.Analysis.WhitespaceAnalyzer结果:
--------------------------------
我是中国人，I'can
speak
chinese,ｈｅｌｌｏ
ｗｏｒｌｄ，沪江小Q!
--------------------------------

 对于这几种分词效果基本可以看出来了。

KeywordAnalyzer分词，没有任何变化；

SimpleAnalyzer对中文效果太差；

StandardAnalyzer对中文单字拆分；

StopAnalyzer和SimpleAnalyzer差不多；

WhitespaceAnalyzer只按空格划分。

 

当然，这只是个粗略的结果。

 

文章标签：
自然语言处理
杰克.陈
目录
相关文章
桃李春风一杯酒
|
14天前
|
人工智能 量子技术 C#
【专栏】.NET 开发：开启数字化新时代
【4月更文挑战第29天】.NET开发在数字化新时代中发挥关键作用，借助跨平台能力、高性能和现代编程语言支持，如C#，助力企业实现数字化转型。通过企业级应用开发、移动应用和云计算集成，.NET加速业务流程和提升用户体验。未来，.NET将涉足AI、ML、MR/AR及量子计算，持续推动技术创新和数字化转型。开发者应提升技能，适应高性能需求，把握发展机遇。
桃李春风一杯酒
18 0
桃李春风一杯酒
|
14天前
|
缓存 监控 算法
【专栏】.NET 开发：实现卓越性能的途径
【4月更文挑战第29天】本文探讨了.NET开发中的性能优化，强调了理解性能问题根源和使用分析工具的重要性。基础优化包括代码优化（如减少计算、避免内存泄漏）、资源管理及选择合适算法。高级策略涉及并行编程、缓存策略、预编译(AOT)和微服务架构。持续性能测试与监控是关键，包括性能测试、监控分析和建立优化反馈循环。开发者应持续学习和实践性能优化，以构建高性能应用。
桃李春风一杯酒
18 0
桃李春风一杯酒
|
14天前
|
开发框架 .NET C#
【专栏】理解.NET 技术，提升开发水平
【4月更文挑战第29天】本文介绍了.NET技术的核心概念和应用，包括其跨平台能力、性能优化、现代编程语言支持及Web开发等特性。文章强调了深入学习.NET技术、关注社区动态、实践经验及学习现代编程理念对提升开发水平的重要性。通过这些，开发者能更好地利用.NET构建高效、可维护的多平台应用。
桃李春风一杯酒
18 0
桃李春风一杯酒
|
14天前
|
机器学习/深度学习 vr&ar 开发者
【专栏】.NET 技术：引领开发新方向
【4月更文挑战第29天】本文探讨了.NET技术如何引领软件开发新方向，主要体现在三方面：1) 作为跨平台开发的先锋，.NET Core支持多操作系统和移动设备，借助.NET MAUI创建统一UI，适应物联网需求；2) 提升性能和开发者生产力，采用先进技术和优化策略，同时更新C#语言特性，提高代码效率和可维护性；3) 支持现代化应用架构，包括微服务、容器化，集成Kubernetes和ASP.NET Core，保障安全性。此外，.NET还不断探索AI、ML和AR/VR技术，为软件开发带来更多创新可能。
桃李春风一杯酒
18 0
桃李春风一杯酒
|
14天前
|
物联网 vr&ar 开发者
【专栏】.NET 技术：为开发注入活力
【4月更文挑战第29天】本文探讨了.NET技术的创新，主要体现在三个方面：1) .NET Core实现跨平台开发革命，支持多种操作系统和硬件，如.NET MAUI用于多平台UI；2) 性能提升与生产力飞跃，C#新特性简化编程，JIT和AOT优化提升性能，Roslyn提供代码分析工具；3) 引领现代化应用架构，支持微服务、容器化，内置安全机制。未来，.NET 7将带来更多新特性和前沿技术整合，如量子计算、AI，持续推动软件开发创新。开发者掌握.NET技术将赢得竞争优势。
桃李春风一杯酒
19 0
桃李春风一杯酒
|
14天前
|
人工智能 前端开发 Cloud Native
【专栏】洞察.NET 技术的开发趋势
【4月更文挑战第29天】本文探讨了.NET技术的三大发展趋势：1) 跨平台与云原生技术融合，通过.NET Core支持轻量级、高性能应用，适应云计算和微服务；2) 人工智能与机器学习的集成，如ML.NET框架，使开发者能用C#构建AI模型；3) 引入现代化前端开发技术，如Blazor，实现前后端一致性。随着.NET 8等新版本的发布，期待更多创新技术如量子计算、AR/VR的融合，.NET将持续推动软件开发的创新与进步。
桃李春风一杯酒
22 0
桃李春风一杯酒
|
14天前
|
开发框架 物联网 测试技术
【专栏】.NET 开发：打造领先应用的基石
【4月更文挑战第29天】本文探讨了.NET开发框架为何成为构建领先应用的首选。高性能与稳定性是.NET的核心优势，它采用先进的技术和优化策略，如.NET Core的轻量级设计和JIT/AOT编译模式。跨平台兼容性让开发者能用相同代码库在不同操作系统上构建应用。现代化的开发体验，如C#语言的创新特性和Visual Studio的强大工具，提升了开发者生产力。丰富的生态系统和广泛支持，包括庞大的开发者社区和微软的持续投入，为.NET提供了坚实后盾。
桃李春风一杯酒
18 0
桃李春风一杯酒
|
14天前
|
人工智能 前端开发 Devops
【专栏】洞察.NET 技术在现代开发中的作用
【4月更文挑战第29天】本文探讨了.NET技术在现代软件开发中的核心价值、应用及挑战。.NET提供语言统一性与多样性，强大的Visual Studio工具，丰富的类库，跨平台能力及活跃的开发者社区。实际应用包括企业级应用、Web、移动、云服务和游戏开发。未来面临性能优化、容器化、AI集成等挑战，需持续创新。开发者应深入理解.NET，把握技术趋势，参与社区，共创美好未来。
桃李春风一杯酒
21 0
桃李春风一杯酒
|
14天前
|
机器学习/深度学习 人工智能 开发者
【专栏】.NET 技术：为开发带来新机遇
【4月更文挑战第29天】本文探讨了.NET技术如何为软件开发带来新机遇，分为三个部分：首先，.NET的跨平台革命，包括.NET Core的兴起、Xamarin与.NET MAUI的移动应用开发、开源社区的推动及性能优化；其次，介绍了云服务与微服务架构的集成，如Azure云服务、微服务支持、DevOps与CI/CD，以及Docker容器化；最后，讨论了AI与机器学习集成，如ML.NET、认知服务、TensorFlow和ONNX，使开发者能构建智能应用。面对这些机遇，开发者应不断学习和适应新技术，以创造更多价值。
桃李春风一杯酒
17 0
桃李春风一杯酒
|
14天前
|
算法 Java 编译器
【专栏】.NET 开发：实现高效能的秘诀
【4月更文挑战第29天】本文探讨了提升.NET应用性能的三个方面：理解.NET运行时（垃圾回收、JIT编译器、异步编程和线程并发）、优化代码与算法（代码细节、数据结构选择和算法效率）以及利用工具和框架（性能分析工具、高性能库和CI/CD流程）。通过深入学习、合理设计和有效工具，开发者可实现.NET应用的高效能。
桃李春风一杯酒
17 0