lucene、solr、es的区别以及应用场景

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: @[TOC](目录)Lucene、Solr 和 Elasticsearch(ES) 都是基于 Lucene 引擎的搜索引擎,它们之间有相似之处,但也有一些不同之处。Lucene 是一个低级别的搜索引擎库,它提供了一种用于创建和维护全文索引的 API,以及一些搜索和排序算法。Lucene 主要用于构建自定义搜索引擎,例如在 Java 应用程序中使用。Solr 是 Lucene 的一个扩展,它提供了一个完整的搜索引擎框架,包括了索引、搜索、排序、过滤等功能。Solr 旨在为大规模数据集提供高性能的全文搜索功能,因此它支持分布式搜索、实时搜索和自定义排序和过滤器等功能。Elasticsear

@TOC
Lucene、Solr 和 Elasticsearch(ES) 都是基于 Lucene 引擎的搜索引擎,它们之间有相似之处,但也有一些不同之处。
Lucene 是一个低级别的搜索引擎库,它提供了一种用于创建和维护全文索引的 API,以及一些搜索和排序算法。Lucene 主要用于构建自定义搜索引擎,例如在 Java 应用程序中使用。
Solr 是 Lucene 的一个扩展,它提供了一个完整的搜索引擎框架,包括了索引、搜索、排序、过滤等功能。Solr 旨在为大规模数据集提供高性能的全文搜索功能,因此它支持分布式搜索、实时搜索和自定义排序和过滤器等功能。
Elasticsearch 是一个开源的分布式搜索引擎,它基于 Lucene 引擎,并提供了许多高级功能,如多语言搜索、聚合、映射和地理位置查询等。Elasticsearch 还提供了一个分布式架构,可以使其横向扩展以处理大规模数据集。
Lucene、Solr 和 Elasticsearch 的优缺点如下:

1. Lucene:

优点:

  • 低成本、快速上手、开源社区发达。
  • 涵盖了信息检索的几乎全部基础知识和非常高性能的实现方式。
  • 提供了一些工程亮点”,熟读 Solr 定会增加对 Java 的理解、运用技能。
    缺点:
  • 只提供了一个低级别的搜索引擎库,需要自行构建搜索引擎框架。
  • 不支持分布式搜索、实时搜索和自定义排序和过滤器等功能。

    2. Solr:

    优点:
  • 提供了一个完整的搜索引擎框架,包括了索引、搜索、排序、过滤等功能。
  • 支持分布式搜索、实时搜索和自定义排序和过滤器等功能。
  • 旨在为大规模数据集提供高性能的全文搜索功能。
    缺点:
  • 熟悉了 Solr、Lucene 并不能说一定可以应对任何搜索需求。
  • 实际场景中,有许多千奇百怪的需求、问题,往往需要面对的是用最小的改动、最方便的形式满足需求,而不是,是否满足以及多久满足的问题,要的是简单、可靠、可控、快速接入、快速处理故障。

    3. Elasticsearch:

    优点:
  • 提供了一个开源的分布式搜索引擎,支持多语言搜索、聚合、映射和地理位置查询等高级功能。
  • 提供了一个分布式架构,可以横向扩展以处理大规模数据集。
  • 支持多种数据存储格式,包括 XML、JSON、SQL 等。
    缺点:
  • 学习曲线较陡峭,需要掌握 Lucene、Solr 的基础知识才能更好地理解 Elasticsearch。
    在应用场景方面,Lucene 和 Solr 主要用于构建自定义搜索引擎,例如在 Java 应用程序中使用。Elasticsearch 则主要用于处理大规模数据集的全文搜索和实时搜索,例如在电商网站中搜索商品,或者在社交媒体中搜索用户发的帖子等。
    在案例分析方面,以 Solr 为例,曾有一个漏洞是攻击者可以通过恶意构造 XML 数据,利用 Solr 解析 XML 数据时的漏洞,执行任意命令。此漏洞是由于 Solr 在解析 XML 数据时,未对恶意外部实体进行防御措施,导致攻击者可以利用该漏洞进行攻击。
    Solr 还存在一个 RCE 漏洞,攻击者可以通过发送特定的 HTTP 请求,执行任意命令。该漏洞是由于 Solr 在处理 HTTP 请求时,未对请求进行充分的验证和过滤,导致攻击者可以利用该漏洞进行攻击。
    针对这些漏洞,Solr 官方发布了多个版本更新,以修复这些漏洞。同时,Solr 官方还提供了一些安全建议,以帮助用户提高 Solr 的安全性,如限制 XML 实体、使用 XXE 通用防御等。
    在代码分析方面,Lucene 和 Solr 的代码都比较复杂,需要掌握一定的 Java 编程知识和搜索引擎原理才能理解。Elasticsearch 的代码相对较简单,但也需要掌握一定的 Java 编程知识和分布式系统原理才能理解。
    总结起来,Lucene、Solr 和 Elasticsearch 都是基于 Lucene 引擎的搜索引擎,它们之间有相似之处,但也有一些不同之处。在选择使用哪种搜索引擎时,需要根据具体的应用场景和需求进行权衡和选择。
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
XML JSON 自然语言处理
Lucene和ElasticSearch关系
Lucene和ElasticSearch关系
|
缓存 Java 索引
Solr&Lucene cache简要汇总
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。本文汇总Solr Lucene cache相关内容。撇开系统结构、架构这些整体性的分析,纯粹从使用方面做梳理。
187 0
Solr&Lucene cache简要汇总
|
存储 SQL 编解码
Solr-lucene 使用案例大全
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。 本文sole lucene的使用案例汇总。
191 0
|
存储 自然语言处理 分布式计算
Solr\Lucene优劣势分析
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。
261 0
|
自然语言处理 Java API
Lucene&solr 4 实践(1)
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。Solr&Lucene 4.0 好,很好,很强大。对于从lucene2.0 solr0.9 就关注,一直过来的人来讲, 4.X序列除了的架构、风格、API改变了很多很多,更重要的是业务的优化口子更多了,专业知识要求更高。整个架子的容量、包容性、以及适应信息检索的科研,直接上来demo运行easy、深入会很难。需要整理了解的知识点太多了。
78 0
|
算法 Java Maven
Lucene&solr 4 实践(4)
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。本部分主要分析FST,快乐理解lucene fst包的源码细节和来龙去脉。
119 0
|
自然语言处理 算法 Apache
Lucene&solr 4 实践(5)
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。这部分先通透FST的原理和构造方法,方便理解lucene FST、Builder两个核心对象,从而彻底看清基于图的lucene4索引、查询的发展脉络。至于读懂后有神马用,自个琢磨啊! 看懂估计要死伤不少脑细胞哦!
196 0
|
编解码 缓存 自然语言处理
Lucene&Solr 4 实践(2)
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。在第一部分,还不完善基础上,进入第二部分吧。结合源码来认识lucene! 重点是:从需求到方案到实践编码到结果、从原理到实现、从结构到细节、从总体认识到西部深入。
81 0
|
自然语言处理 算法 架构师
Lucene&solr 4 实践(8)
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。Lucene 5 有哪些点对大数据倒排索引和检索有优势 1.索引懒加载lazy加载,意味着按时间段或者其他分割的数据可以按需加载 2.FST词典结构以及基于图的索引、查询,使得内存消耗更低 3.异步合并,使得增量索引合并时的“索引整理”开销或者对查询影响更小 4.commitpoint 视图下reader自动更新,使得大规模数据的虚拟分组、全量切换更加方便。
116 0
|
自然语言处理 索引
Lucene&solr 4 实践(3)
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。本部分主要是针对FSA FST做前期知识储备和基本概念扫盲。FST是lucene4 solr4 的索引和查询的核心! 下面的内容来自多个出去,出去就不一一列举。
88 0
Lucene&solr 4 实践(3)