国内首家!阿里云 Elasticsearch 8.9 版本释放 AI 搜索新动能

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 阿里云作为国内首家上线 Elasticsearch 8.9版本的厂商,在提供 Elasticsearch Relevance Engine™ (ESRE™) 引擎的基础上,提供增强 AI 的最佳实践与 ES 本身的混合搜索能力,为用户带来了更多创新和探索的可能性。

近年来,人工智能的快速发展和广泛应用在各个行业中都取得了显著的成果。在搜索领域,阿里云Elasticsearch作为一款功能强大的搜索引擎,一直以来都在为企业提供高效、准确的搜索服务。现在,阿里云作为国内首家上线 Elasticsearch 8.9版本的厂商,在提供 Elasticsearch RelevanceEngine™ (ESRE™) 引擎的基础上,提供增强 AI 的最佳实践与 ES 本身的混合搜索能力,为用户带来了更多创新和探索的可能性。


此次从8.5版本到8.9版本的全新升级,新增了以下重点功能,使得阿里云 Elasticsearch 在向量检索和混合搜索能力都具有显著改善,大大提升了搜索结果的准确性和相关性。

  • 支持文本和向量召回结果混排(RRF)。
  • 向量最大维度提升到2048。
  • 暴力检索性能提升。
  • KNN 查询支持多个字段同时查询。
  • 内置 ELSER模型。
  • 稳定支持 NLP 分布式模型调度管理。
  • ……


向量检索---为搜索插上飞跃的翅膀

向量检索作为8.x版本的重要新增能力,突破了传统的基于关键词的搜索,利用机器学习和人工智能的力量,将文本内容转换为向量表示,即将文本数据中的每个单词表示为一个向量,并通过计算向量之间的距离来判断文本之间的相似度来实现检索,从而实现文本的高效检索和处理。相较于传统文本检索,通过增加了单词和文档之间的语义关系,使得搜索的相关性显著提升;同时处理对象从文本到图像、语音等类型的扩展,应用场景的层面也得到了相应的增加;当然向量检索更能够根据用户偏好定制化搜索结果,为用户提供了个性化的搜索体验。

1695198620835-74f2cff6-3385-45a5-a37c-16867c4a4af0.png

向量检索技术的应用场景非常广泛,包括搜索引擎优化、图像搜索、自然语言处理、推荐系统、情感分析等领域。现阿里云 Elasticsearch 产品已经提供向量检索基础能力,可根据基于 Elasticsearch 向量检索的以文搜图进行体验。


混合搜索 RRF---搜索结果和性能的双重助力

混合搜索 RRF(Reciprocal rank fusion支持对多种不同方式召回的多个结果集进行综合再排序,返回最终的排序结果。之前 Elasticsearch 已经分别支持基于 BM25 的相关性排序和向量相似度的召回排序,通过 RRF 可以对这两者的结果进行综合排序,使得排序的准确性显著提升。相对于单一搜索搜索技术,混合搜索 RRF 的优势十分明显,可任意组合多个搜索技术并获得综合性搜索结果,使得搜索的准确性和相关性大幅提升,从场景的适应性来看,企业可根据自身业务设计专属搜索方案,自由度也明显提高。关于混合搜索 RRF 在搜索结果准确性和相关性提升的实验验证,可根据 阿里云 Elasticsearch 使用 RRF 混排优化语义查询结果对比进行测试查看,并获得如下结果。


1695203612657-f7eece34-9afd-47ef-912c-3064ef404a07.png


随着新版本的上线,阿里云 Elasticsearch 再次展现了其在搜索领域的不断前进。为用户带来了更加智能化和深层次的搜索体验。未来,阿里云 Elasticsearch 将继续努力创新,为用户带来更多搜索技术的突破和可能性。




Elasticsearch技术社区2群

image.png

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2月前
|
缓存 安全 Java
阿里云数据库 SelectDB 内核 Apache Doris 2.0.6 版本正式发布
阿里云数据库 SelectDB 内核 Apache Doris 2.0.6 版本正式发布
|
2月前
|
SQL 存储 JSON
阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布:开箱盲测性能大幅优化,复杂查询性能提升 100%
亲爱的社区小伙伴们,Apache Doris 2.1.0 版本已于 2024 年 3 月 8 日正式发布,新版本开箱盲测性能大幅优化,在复杂查询性能方面提升100%,新增Arrow Flight接口加速数据读取千倍,支持半结构化数据类型与分析函数。异步多表物化视图优化查询并助力仓库分层建模。引入自增列、自动分区等存储优化,提升实时写入效率。Workload Group 资源隔离强化及运行时监控功能升级,保障多负载场景下的稳定性。新版本已经上线,欢迎大家下载使用!
阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布:开箱盲测性能大幅优化,复杂查询性能提升 100%
|
3月前
|
API 网络安全 网络架构
浅谈Elastic Search V8版本的一些重大改进
浅谈Elastic Search V8版本的一些重大改进
45 0
|
3月前
|
存储 监控 安全
阿里云网盘与相册问题之如何开通历史版本
阿里云网盘与相册是阿里云提供的云存储服务,用户可以安全便捷地存储和管理个人文件、照片等数据;本合集将介绍如何使用阿里云网盘和相册服务,包括文件上传、同步、分享,以及处理常见使用问题的技巧。
37 1
|
3月前
|
存储 安全 网络协议
阿里云网盘与相册问题之服务开通历史版本如何解决
阿里云网盘与相册是阿里云提供的云存储服务,用户可以安全便捷地存储和管理个人文件、照片等数据;本合集将介绍如何使用阿里云网盘和相册服务,包括文件上传、同步、分享,以及处理常见使用问题的技巧。
44 1
|
3月前
|
JSON Prometheus Cloud Native
Grafana 系列 - 统一展示 -8-ElasticSearch 日志快速搜索仪表板
Grafana 系列 - 统一展示 -8-ElasticSearch 日志快速搜索仪表板
|
4天前
|
机器学习/深度学习 存储 人工智能
【AI 初识】人工智能中使用了哪些不同的搜索算法?
【5月更文挑战第2天】【AI 初识】人工智能中使用了哪些不同的搜索算法?
|
4天前
|
存储 人工智能 前端开发
[译][AI OpenAI-doc] 文件搜索 Beta
文件搜索通过从其模型外部获取的知识增强了助手的功能,例如专有产品信息或用户提供的文档。通过向量存储库,您可以管理文件的解析、分块、嵌入和存储,以进行关键字和语义搜索。确保向量存储库准备就绪,以确保所有数据可搜索,并利用到期策略管理成本。
|
6天前
|
存储 搜索推荐 Java
Java远程连接本地开源分布式搜索引擎ElasticSearch
Java远程连接本地开源分布式搜索引擎ElasticSearch

相关产品

  • 检索分析服务 Elasticsearch版