ES 8.0:历时三年的 Elasticsearch 8.x 大更新给我们带来了什么?

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
NLP自然语言处理_基础版,每接口每天50万次
NLP 自学习平台,3个模型定制额度 1个月
简介: ES 8.0:历时三年的 Elasticsearch 8.x 大更新给我们带来了什么?

历时48个月,Elastic终于迎来了 8.0 的大版本更新,可谓是千呼万唤始出来了!

在正式版发布之前,经历了两个内测版,一个公测版,两个RC版本

版本号 发布日期 多少个次要版本迭代 历时
8.0 2022年2月11日 至今
7.0 2019年4月11日 17个次要版本 48个月
6.0 2017年11月15日 8个次要版本 17个月
5.0 2016年10月27日 6个次要版本 13个月
4.x 缺失
3.x 缺失
2.4 2017年7月26日


1、原生支持 NLP(自然语言处理)

Elastic 8.0 版通过改进 Elasticsearch 的矢量搜索功能、对现代自然语言处理模型的原生支持。Elasticsearch 一直非常重视 NLP 的发展及应用,在之前的版本,ES 需要截止自身之外的一些脚本、插件和代码来完成支持 NLP,但是在 ES 8.0 的版本中,ES 可以直接在 Elasticsearch 中执行命名实体识别、情感分析、文本分类等,而无需使用额外的组件或进行编码。并且可以在 Elasticsearch 中原生计算和创建矢量。这一变化为 搜索引擎的开发工作者带来了很大的便利

3408d28588da49fca719fd3e06ee60ed.gif


2、速度、扩展和检索相关性提升

在过去的三年间,ES一直致力于:减少内存使用(从而让每个节点托管更多的数据),降低查询开销(在大规模部署中成效尤为明显),引入一些全新的功能来提高相关性。


例如,在 7.x 系列版本中,官方提高了日期直方图和搜索聚合的速度,增强了页面缓存的性能,并创建了一个新的“pre-filter”搜索短语。此外,官方还通过减少内存堆完全支持 ARM 架构,引入全新的方式以使用更少的存储空间,以及让用户能够借助新的 Frozen Phase 和 Searchable Snapshot 轻松将计算与存储分离开来,从而降低了资源需求(即:降低了客户的总体拥有成本)。


3、通过原生矢量搜索提高搜索相关性

Elastic 8.0 版引入了一整套原生矢量搜索功能,让客户和员工能够使用他们自己的文字和语言来搜索并收到高度相关的结果。

微信截图_20221121122852.png


在过去的两年间,官方一直致力于ES矢量搜索的优化。在 Elasticsearch 7.0版中,就针对高维矢量引入了字段类型。在 ES 7.3和 7.4 版本中,又引入了对矢量相似函数的支持。


在 Elasticsearch 8.0 版中,自然语言处理 (NLP) 模型原生支持直接引入了 Elasticsearch,让矢量搜索功能更容易实现。此外,Elasticsearch 8.0 版还包含了对近似最近邻搜索的原生支持,因此可以快速且大规模地比较基于矢量的查询与基于矢量的文档语料库。


4、默认开启安全功能

从 ES 7.x 开始,官方提供免费的安全功能,不过仅限于索引级别的安全设置,而字段和文档级别的需要付费。


从 8.0 开始,ES 简化了安全功能。自管理集群默认启用 Elastic Stack 安全性,配置工作几乎为零(其实8.x 的安全配置更麻烦了,知识默认启用了安全功能而已)。


8.x 默认启用了以下功能:

  • 用户认证
  • 具有基于角色的访问控制的用户授权
  • Kibana Spaces 多租户
  • 使用 TLS 的加密节点到节点通信
  • 使用 HTTPS 与 Elasticsearch API 进行加密通信


第一次运行 Elasticsearch 时,Elasticsearch 将自动执行以下任务:

  • TLS 设置:它将生成证书颁发机构、传输和 HTTP 层证书,以及 TLS 舞蹈所需的所有相关“好东西”——当然包括私钥、证书指纹等。它还将存储密码安全。
  • 设置安全设置:这还包括用于传输和 HTTP 加密的设置:xpack.security.ssl.http.enabled 和 xpack.security。ssl.transport.enabled
  • 准备传入连接:它将生成一种特殊类型的令牌,即注册令牌,它封装了 Kibana 连接到 Elasticsearch 所需的所有信息,并启用其注册 API,该 API 会监听新连接。
  • 为ES 内置超级用户生成密码。


在之前的多个版本中,官方简化了将各类数据从任何来源采集到 Elastic Stack 的过程。在 Elastic 8.0 版中,通过两个新的 AWS 集成进一步扩展了云原生集成:一个新的 AWS Lambda 应用程序和一个新的 Amazon Simple Storage Service (Amazon S3) Storage Lens 集成。

相关实践学习
利用Elasticsearch实现地理位置查询
本实验将分别介绍如何使用Elasticsearch7.10版本进行全文检索、多语言检索和地理位置查询三个Elasticsearch基础检索子场景的实现。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2月前
|
存储 JSON 数据格式
Elasticsearch 8.X 可以按照数组下标取数据吗?
Elasticsearch 8.X 可以按照数组下标取数据吗?
26 0
|
2月前
|
Oracle 关系型数据库 API
实时计算 Flink版产品使用合集之当sink到elasticsearch时,可以指定es的指定字段吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
实时计算 Flink版产品使用合集之当sink到elasticsearch时,可以指定es的指定字段吗
|
2月前
|
JSON 监控 Java
Elasticsearch 8.X reindex 源码剖析及提速指南
Elasticsearch 8.X reindex 源码剖析及提速指南
36 0
|
2月前
|
存储 监控 Java
视频 | Elasticsearch 8.X 企业内训之最佳实践10 讲
视频 | Elasticsearch 8.X 企业内训之最佳实践10 讲
27 0
|
22天前
|
JSON 搜索推荐 大数据
Elasticsearch:从 ES|QL 到 PHP 对象
【6月更文挑战第9天】Elasticsearch 是一款强大的开源搜索引擎,适用于大数据处理和分析。在 PHP 开发中,使用 ES|QL 构建复杂查询后,通常需将查询结果转换为 PHP 对象。通过 `json_decode()` 函数解析 JSON 数据,可以实现这一目标。示例代码展示了如何将 Elasticsearch 响应转换为 PHP 对象并遍历数据。这样,我们可以进一步处理和操作数据,适应不同项目需求。随着技术和方法的更新,不断学习和适应将提升我们在开发中的效率和创新力。
44 10
|
2月前
|
Prometheus 监控 Cloud Native
实时计算 Flink版操作报错之在使用ES时遇到“java.lang.IllegalStateException: The elasticsearch emitter must be serializable”,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
2月前
|
SQL 监控 API
实时计算 Flink版产品使用合集之可以用来同步数据到 Elasticsearch(ES)吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
实时计算 Flink版产品使用合集之可以用来同步数据到 Elasticsearch(ES)吗
|
2月前
|
存储 数据处理 索引
Elasticsearch 8.X 小技巧:使用存储脚本优化数据索引与转换过程
Elasticsearch 8.X 小技巧:使用存储脚本优化数据索引与转换过程
56 6
|
2月前
|
存储 监控 安全
Elasticsearch 8.X 集群 SSL 证书到期了,怎么更换?
Elasticsearch 8.X 集群 SSL 证书到期了,怎么更换?
102 3
|
2月前
|
运维 架构师 搜索推荐
7 年+积累、 Elastic 创始人Shay Banon 等 15 位专家推荐的 Elasticsearch 8.X新书已上线...
7 年+积累、 Elastic 创始人Shay Banon 等 15 位专家推荐的 Elasticsearch 8.X新书已上线...
35 4