AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Lucene7.2.1系列（二）luke使用及索引文档的基本操作

2018-04-03 2485
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 它有以下功能： - 查看文档并分析其内容（用于存储字段） - 在索引中搜索 - 执行索引维护：索引运行状况检查；索引优化（运行前需要备份） - 从hdfs读取索引 - 将索引或其部分导出为XML格式 - 测试定制的Lucene分析工具 - 创建自己的插件

luke入门

简介：

github地址：https://github.com/DmitryKey/luke

下载地址：https://github.com/DmitryKey/luke/releases
luke图标
Luke是一个用于Lucene/Solr/Elasticsearch 搜索引擎的，方便开发和诊断的 GUI（可视化）工具。

它有以下功能：

  • 查看文档并分析其内容（用于存储字段）
  • 在索引中搜索
  • 执行索引维护：索引运行状况检查；索引优化（运行前需要备份）
  • 从hdfs读取索引
  • 将索引或其部分导出为XML格式
  • 测试定制的Lucene分析工具
  • 创建自己的插件

  • luke适用的搜索引擎

  • Apache Lucene. 大多数情况下，luke可以打开由纯Lucene生成的lucene索引。 现在人们做出纯粹的Lucene索引吗？
  • Apache Solr. Solr和Lucene共享相同的代码库，所以luke很自然可以打开Solr生成的Lucene索引。
  • Elasticsearch. Elasticsearch使用Lucene作为其最低级别的搜索引擎基础。 所以luke也可以打开它的索引！

下载安装与简单使用

下载安装

1.
1

  1. 2
    3.
    3
    4.
    4
  2. 5

索引文档的CRUD操作

  1. 创建项目并添加Maven依赖

         <dependency>
         <groupId>junit</groupId>
         <artifactId>junit</artifactId>
         <version>4.12</version>
         <scope>test</scope>
     </dependency>
     <!-- https://mvnrepository.com/artifact/org.apache.lucene/lucene-core -->
     <!-- Lucene核心库 -->
     <dependency>
         <groupId>org.apache.lucene</groupId>
         <artifactId>lucene-core</artifactId>
         <version>7.2.1</version>
     </dependency>
     <!-- Lucene解析库 -->
     <dependency>
         <groupId>org.apache.lucene</groupId>
         <artifactId>lucene-queryparser</artifactId>
         <version>7.2.1</version>
     </dependency>
     <!-- Lucene附加的分析库 -->
     <dependency>
         <groupId>org.apache.lucene</groupId>
         <artifactId>lucene-analyzers-common</artifactId>
         <version>7.2.1</version>
     </dependency>

    我们下面要用到单元测试，所以这里我们添加了Junit单元测试的依赖（版本为4.12，2018/3/30日最新的版本）

  2. 相关测试代码

主方法：

package lucene_index_crud;

import java.nio.file.Paths;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.Term;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.junit.Test;

public class Txt1 {
   
    // 下面是测试用到的数据
    private String ids[] = {
    "1", "2", "3" };
    private String citys[] = {
    "qingdao", "nanjing", "shanghai" };
    private String descs[] = {
    "Qingdao is a beautiful city.", "Nanjing is a city of culture.",
            "Shanghai is a bustling city." };
    //Directory对象  
    private Directory dir;
}

相关测试方法编写：

1)测试创建索引 
    /**
     * 创建索引
     * @throws Exception
     */
    @Test
    public void testWriteIndex() throws Exception {
   
        //写入索引文档的路径
        dir = FSDirectory.open(Paths.get("D:\\lucene\\index_crud\\indexdata"));
        IndexWriter writer = getWriter();
        for (int i = 0; i < ids.length; i++) {
   
            //创建文档对象，文档是索引和搜索的单位。
            Document doc = new Document();
            doc.add(new StringField("id", ids[i], Field.Store.YES));
            doc.add(new StringField("city", citys[i], Field.Store.YES));
            doc.add(new TextField("desc", descs[i], Field.Store.NO));
            // 添加文档
            writer.addDocument(doc); 
        }
        writer.close();
    }

通过luke查看相关信息：
desc
city
id

注意： 创建索引之后，后续测试方法才能正确运行。

2)测试写入了几个文档： 
    /**
     * 测试写了几个文档
     * 
     * @throws Exception
     */
    @Test
    public void testIndexWriter() throws Exception {
   
        //写入索引文档的路径
        dir = FSDirectory.open(Paths.get("D:\\lucene\\index_crud\\indexdata"));
        IndexWriter writer = getWriter();
        System.out.println("写入了" + writer.numDocs() + "个文档");
        writer.close();
    }

testIndexWriter()

3)测试读取了几个文档： 
    /**
     * 测试读取了几个文档
     * 
     * @throws Exception
     */
    @Test
    public void testIndexReader() throws Exception {
   
        //写入索引文档的路径
        dir = FSDirectory.open(Paths.get("D:\\lucene\\index_crud\\indexdata"));
        IndexReader reader = DirectoryReader.open(dir);
        System.out.println("最大文档数：" + reader.maxDoc());
        System.out.println("实际文档数：" + reader.numDocs());
        reader.close();
    }

testIndexReader()

4)测试删除 在合并前： 
    /**
     * 测试删除 在合并前
     * 
     * @throws Exception
     */
    @Test
    public void testDeleteBeforeMerge() throws Exception {
   
        //写入索引文档的路径
        dir = FSDirectory.open(Paths.get("D:\\lucene\\index_crud\\indexdata"));
        IndexWriter writer = getWriter();
        System.out.println("删除前：" + writer.numDocs());
        writer.deleteDocuments(new Term("id", "1"));
        writer.commit();
        System.out.println("writer.maxDoc()：" + writer.maxDoc());
        System.out.println("writer.numDocs()：" + writer.numDocs());
        writer.close();
    }

testDeleteBeforeMerge()

5)测试删除 在合并后：

我们这里先把dataindex目录下的文件删除，然后运行上面的testWriteIndex() 方法之后再测试。

    /**
     * 测试删除 在合并后
     * 
     * @throws Exception
     */
    @Test
    public void testDeleteAfterMerge() throws Exception {
   
           //写入索引文档的路径
        dir = FSDirectory.open(Paths.get("D:\\lucene\\index_crud\\indexdata"));
        IndexWriter writer = getWriter();
        System.out.println("删除前：" + writer.numDocs());
        writer.deleteDocuments(new Term("id", "1"));
        writer.forceMergeDeletes(); // 强制删除
        writer.commit();
        System.out.println("writer.maxDoc()：" + writer.maxDoc());
        System.out.println("writer.numDocs()：" + writer.numDocs());
        writer.close();
    }

testDeleteAfterMerge()

6)测试更新操作：

我们这里先把dataindex目录下的文件删除，然后运行上面的testWriteIndex() 方法之后再测试。

    /**
     * 测试更新
     * 
     * @throws Exception
     */
    @Test
    public void testUpdate() throws Exception {
   
        // 写入索引文档的路径
        dir = FSDirectory.open(Paths.get("D:\\lucene\\index_crud\\indexdata"));
        IndexWriter writer = getWriter();
        Document doc = new Document();
        doc.add(new StringField("id", "1", Field.Store.YES));
        doc.add(new StringField("city", "beijing", Field.Store.YES));
        doc.add(new TextField("desc", "beijing is a city.", Field.Store.NO));
        writer.updateDocument(new Term("id", "1"), doc);
        writer.close();
    }

desc
city

欢迎关注我的微信公众号（分享各种Java学习资源，面试题，以及企业级Java实战项目回复关键字免费领取）：
微信公众号

Lucene我想暂时先更新到这里，仅仅这三篇文章想掌握Lucene是远远不够的。另外我这里三篇文章都用的最新的jar包，Lucene更新太快，5系列后的版本和之前的有些地方还是有挺大差距的，就比如为文档域设置权值的setBoost方法6.6以后已经被废除了等等。因为时间有限，所以我就草草的看了一下Lucene的官方文档，大多数内容还是看java1234网站的这个视频来学习的，然后在版本和部分代码上做了改进。截止2018/4/1，上述代码所用的jar包皆为最新。

最后推荐一下自己觉得还不错的Lucene学习网站/博客：

官方网站：Welcome to Apache Lucene

Github:Apache Lucene and Solr

Lucene专栏

搜索系统18：lucene索引文件结构

Lucene6.6的介绍和使用

文章标签：
索引
Java
Apache
搜索推荐
测试技术
snailclimb
目录
相关文章
67vpym2vvkfhs
|
6月前
|
算法 索引
一篇文章讲明白Lucene学习总结之九：Lucene的查询对象(2)
一篇文章讲明白Lucene学习总结之九：Lucene的查询对象(2)
67vpym2vvkfhs
26 0
阿甘兄
|
索引
07Lucene索引库的修改
07Lucene索引库的修改
阿甘兄
38 0
阿甘兄
|
存储 自然语言处理 索引
05Lucene索引库的添加
05Lucene索引库的添加
阿甘兄
44 0
go-Jack
|
存储 Java 索引
Lucene的基本操作
Lucene的基本操作
go-Jack
104 0
Lucene的基本操作
云课程笔记
|
自然语言处理 Shell 开发者
使用 luke 工具查看索引库内容|学习笔记
快速学习使用 luke 工具查看索引库内容
云课程笔记
395 0
使用 luke 工具查看索引库内容|学习笔记
㭍葉
|
XML 自然语言处理 搜索推荐
使用Luke Lucene进行索引
目录 luke 简介 luke下载及安装 luke 使用 打开luke Overview选项卡 Documents选项卡 search选项卡 Commits选项卡 Plugins选项卡 导出索引为XML 检查索引正确性 总结 1. luke 简介 luke### 是一个用于Lucene/Solr/Elasticsearch 搜索引擎的，方便开发和诊断的 GUI（可视化）工具。
㭍葉
1478 0
利炳根
|
搜索推荐 Java Maven
学习笔记CB011:lucene搜索引擎库、IKAnalyzer中文切词工具、检索服务、查询索引、导流、word2vec
影视剧字幕聊天语料库特点，把影视剧说话内容一句一句以回车换行罗列三千多万条中国话，相邻第二句很可能是第一句最好回答。一个问句有很多种回答，可以根据相关程度以及历史聊天记录所有回答排序，找到最优，是一个搜索排序过程。
利炳根
1639 0
桃子红了呐
|
自然语言处理 数据可视化 Java
Luke 5—— 可视化 Lucene 索引查看工具，可以查看ES的索引
桃子红了呐
1707 0
桃子红了呐
|
存储 索引
lucene正向索引（续）——一个文档的所有filed+value都在fdt文件中！！！
桃子红了呐
1151 0
范大脚脚
|
SQL 数据库 索引
索引简介
范大脚脚
882 0