阿里云搜索产品智能化升级发布

本文涉及的产品
推荐全链路深度定制开发平台,高级版 1个月
简介: 在2023云栖大会上,阿里云搜索负责人郭瑞杰对阿里云搜索产品智能化升级发布,在全场景的搜索细分领域,提供智能化产品能力。

本文根据 2023 云栖大会演讲实录整理而成,演讲信息如下:

演讲人:郭瑞杰   阿里云资深技术专家、搜索负责人

近日在2023云栖大会上,阿里云搜索负责人郭瑞杰对阿里云搜索产品智能化升级发布,在全场景的搜索细分领域,提供智能化产品能力,包括基于大模型的开放搜索(OpenSearch)LLM智能问答版和向量检索版,以及面向日志和文本分析场景的Elasticsearch Serverless版等。

基于企业专属大模型的对话式搜索

开放搜索(OpenSearch)LLM智能问答版是一站式SaaS化对话式搜索解决方案,内置通义千问以及第三方开源大语言模型,用户可基于业务数据搭建企业专属模型。产品内部集成了段落切分、向量化模型、向量引擎、检索增强大模型等对话式搜索的全链路能力,并可以做到分钟级PoC,小时级正式上线。与开源大模型相比,有更高的准确率基线,答案准确率提升大概20%,幻觉减少40%。 开放搜索做了大量的推理优化,token生成速度提升2-3倍,GPU资源使用量减少50%。


识林是一个专注在制药合规领域进行知识收集整理的平台,为药企提供从药物研发、生产到变更等全生命周期的法律法规检索、咨询服务。在今年上半年,识林基于OpenSearch构建了大语言模型的智能问答体系,现在已经无需用户通过关键词反复的检索,通过浏览法律法规原文获取答案,而是以自然语言的方式向提问,识林平台理解问题意图,通过大模型快速的到最终答案,并清晰的展示参考依据。

同时,阿里云推出了基于开放搜索问答版构建的智能学术论文助手SmartArxiv支持学术调研、速读论文、方法对比、文献综述等功能,帮助解决学术界“信息过载”的问题。目前已在ModelScope官网创空间上线,用户可免费使用。https://modelscope.cn/studios/smart_arxiv_opensearch/SmartArXiv

相比开源引擎,向量检索性能提升3倍

开放搜索向量检索版在本次的全新升级中,从原来的PaaS形态演化成了Serverless形态,易用性显著改善核心引擎升级到新引擎VectorStore,性能大幅提升,支持千亿数据毫秒级响应,实时数据秒级更新,与业界主流开源向量引擎相比检索性能提升3倍以上,内存占用降低到50%。并支持标签+向量混合检索等能力,提供从图像向量化到向量存储查询的端到端图搜场景解决方案。

VectorStore差异化特点是高性能,做了大量的向量检索算法的性能优化,千亿级别向量数据毫秒级查询响应,向量更新秒级可见。做了大量数据压缩优化,支持非全内存加载,更低的成本。 作为阿里自研的向量引擎,在淘宝个性化搜索、推荐、多模态搜索,以及近期的各种大模型应用中广泛应用。 VectorStore的执行框架基于Havenask引擎,后面也将在Havenask中完整开源。

成本降低70%的Elasticsearch Serverless版

阿里云检索分析服务 Elasticsearch 正式推出兼容开源、按需使用的Serverless产品,用户不再需要手动分配资源,平台会根据业务流量波动,自动调度决定资源的增加或缩减,秒级弹性扩缩,真正实现负载与资源动态匹配的按量付费,减少闲置资源冗余成本支出。基于Indexing Service索引构建服务以及OpenStore存储服务,阿里云从硬件选型、集群架构、内核性能进行了全方位优化,实现写入性能提升150%,单位数据存储成本降低70%。

同时,阿里云Easticsearch已集成最新的8.9版本,并基于ESRE组件(Elasticsearch Relevance Engine)提供AI增强能力,包括RRF混合排序算法,第三方模型集成、部署和管理等。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2天前
|
存储 机器学习/深度学习 弹性计算
|
3天前
|
人工智能 云计算
阿里云携手合作伙伴得云AI举办《AI赋能 · 智能革新沙龙》
阿里云与得云AI联合举办了《AI赋能·智能革新沙龙》,探讨云计算和AI前沿技术。
|
4天前
|
文字识别 JavaScript Java
印刷文字识别产品使用合集之阿里云文字识别OCR demo主要有哪些
印刷文字识别(Optical Character Recognition, OCR)技术能够将图片、扫描文档或 PDF 中的印刷文字转化为可编辑和可搜索的数据。这项技术广泛应用于多个领域,以提高工作效率、促进信息数字化。以下是一些印刷文字识别产品使用的典型场景合集。
138 0
|
5天前
|
Cloud Native 数据库
阿里云产品四月刊来啦
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代,详情请点击阿里云产品四月刊
208 3
阿里云产品四月刊来啦
|
5天前
|
人工智能 API
阿里云微服务引擎及 API 网关 2024 年 4 月产品动态
阿里云微服务引擎及 API 网关 2024 年 4 月产品动态。
|
5天前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 API 网关 2024 年 04 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要。
|
5天前
|
Cloud Native 关系型数据库 分布式数据库
数据库性能诊断工具DBdoctor通过阿里云PolarDB产品生态集成认证
DBdoctor(V3.1.0)成功通过阿里云PolarDB分布式版(V2.3)集成认证,展现优秀兼容性和稳定性。此工具是聚好看科技的内核级数据库性能诊断产品,运用eBPF技术诊断SQL执行,提供智能巡检、根因分析和优化建议。最新版V3.1.1增加了对PolarDB-X和OceanBase的支持,以及基于cost的索引诊断功能。PolarDB-X是阿里巴巴的高性能云原生分布式数据库,兼容MySQL生态。用户可通过提供的下载地址、在线试用链接和部署指南体验DBdoctor。
154 0
|
5天前
|
弹性计算 运维 监控
解密阿里云弹性计算:探索云服务器ECS的核心功能
阿里云ECS是核心计算服务,提供弹性云服务器资源,支持实例按需配置、集群管理和监控,集成安全防护,确保服务稳定、安全,助力高效业务运营。
99 0
|
5天前
|
存储 弹性计算 固态存储
阿里云服务器CPU内存配置详细指南,如何选择合适云服务器配置?
阿里云服务器配置选择涉及CPU、内存、公网带宽和磁盘。个人开发者或中小企业推荐使用轻量应用服务器或ECS经济型e实例,如2核2G3M配置,适合低流量网站。企业用户则应选择企业级独享型ECS,如通用算力型u1、计算型c7或通用型g7,至少2核4G配置,公网带宽建议5M,系统盘可选SSD或ESSD云盘。选择时考虑实际应用需求和性能稳定性。
164 6
|
5天前
|
域名解析 弹性计算 Linux
阿里云购买云服务器、注册域名、备案及绑定图文教程参考
本文为大家介绍了2024年购买阿里云服务器和注册域名,绑定以及备案的教程,适合需要在阿里云购买云服务器、注册域名并备案的用户参考,新手用户可通过此文您了解在从购买云服务器到完成备案的流程。
阿里云购买云服务器、注册域名、备案及绑定图文教程参考