Elasticsearch Serverless高性价比智能时序分析关键技术解读

本文涉及的产品
函数计算FC,每月15万CU 3个月
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
简介: 本篇演讲由阿里云1s团队的贾新寓讲解,主题为高性价比、智能日志更新关键技术。内容分为四部分:回顾日志场景痛点、介绍四大关键能力(开箱即用、高性能低成本、按量付费、智能调度免运维)、解读关键技术(如读写分离架构、ES内核优化等),并演示如何快速接入Serverless产品。通过这些技术,显著提升性能、降低成本,帮助用户实现高效日志管理。

本篇演讲的主题是高性价比、智能日志更新关键技术解读由阿里云1s团队的贾新寓讲解。

今天演讲分为四个部分。首先回顾日志场景的核心痛点接着介绍日志分析形色问题的四大关键能力,随后介绍这些关键能力背后的关键技术,最后快速演示如何接入Serverless产品。

 

一、日志分析型Serverless 能力介绍

1. 核心痛点

众所周知ES在日志场景应用广泛大量的企业使用eo kefk作为其基础设施,公有云上和集团内部也有大量用户使用es。作为其日志分析引擎,在用户的长期沟通中,发现日志分析场景最为核心的痛点为性价比。其具体表现有以下四点:


一是资源成本高。为了存储海量的数据,保证安全的水位,承载突发的流量需要预留住大量的资源,造成成本居高不下。


第二是运维成本大。在海量场景下,索引下的副本有策略等非常复杂,尤其是在pb级的数据规模下,数百个节点的状态同步数10万个下载的索引搬迁。这些开源的es早已无法支持,因此团队需要投入大量人力来解决这些问题。


第三个是在严格限制成本的情况下,性能难以保证。


第四在稳定性上是一个很大的挑战。因为开源es读写相互影响,而且缺少熔断能力。在负载高时,比如cpu超过50%,处理能力断崖式下跌。造成用户一系列实际痛点问题。es自2017年上线以来,一直着力于解决此类问题。


2. 产品改善

2021年我们推出INdexing service通过读写分离以及写入持化,将写入能力提升了800%,并且实现了写入按流量计费,这让用户再也不用为写入性能担忧。在2022年,我们推出openstore这种存在分离架构,通过多级智能缓存机查询优化,实现了查询性能不下降的情况下存储成本降低70%,并且实现存储的按量付费。而在去年,我们基于前面积累的经验,在内部推出了logo这种serverless形态的这种日志产品,让用户无需复杂配置开箱即用,取得了非常好的效果。


所以在今年我们将这一产品推到工作云上,成为日志分析型Serverless来帮助云上的用户降本增效。接下来是我们内部的livehouse下取得的成绩。如图,之前的日志全观测方案将平均成本降低到51.44%,每月为公司节省了数百万元,其中在菜鸟某业务和高德某业务中更是下降了78.04%和64.86%,效果非常显著。

 

二、日志分析型Serverless 能力介绍

1.开箱即用

主要有四大关键能力。首先是开箱即用、兼容开源。这使得所有的api和sdk都和开源保持一致。用户无需任何代码改动,也不需要适配特殊的sdk,可直接使用,这样极大减低了用户的接入成本。


3. 高性能低成本

通过在日志分析场景和定制优化,大幅提升到单核的处理能力,又降低了存储的成本。第三是真正的按量付费。和之前的按量付费有很大差异,搜索版本上实现了按cpu用量付费,稍后将用数据给大家展示该版本带来的成本差异。第四个是智能调度免运维。在我们的serveless场景下,用户不仅不需要关心汲取运维以及数副本数,只需要关心数据保留天数,数据的自断类型即可。下面就一一为大家展示。首先是我们的开相机用能力。


大家可以看到左边的这幅图是KABALA。我们在我们日志分析,KDAS依旧可以用大家熟悉的PIBALA的api,然后包括一些kiting des 这种基础的es原声api来直接使用和开源eS5e。为了充分地兼容开源,并没有使用派克中的数据流I'm等策略,直接在原始锁影上进行拓展,让每个锁影都可以自己设置他的保留天数。第二个关键能力为高性能低成本。可以看到最左边的蓝色的是serverless中间是pass上的日志增强版,最右边是最佳实践下的开源自建。


可以看到日志增强版,比开源的最佳实践及生产提升两倍多。而seveless在单核注意能力上又比日式增强版提升了两倍多。整体比开源的最佳实践提升了4.5倍。而在压缩比上,更是从1.93提升到了5.8。这是在最佳实践下的开源自建才能达到1.93的效果。如果没有丰富的es优化经验,直接使用es就无法到达1.93,而是0.8,成本也会很高。


4. 按量付费

我们是真正的按CEO付费,而不是按流量付费。接下来讲解两者的区别。左边这幅图是在同样的遗迹流量下,因为表结构造成的不同带来的ceo消耗的差异。从最大的110ceo到最低的46ce相差将近24倍。也即按ceo付费比按流量付费可以节省将近50%的成本。而在今年除了存储和写入实现了按量付费,在查询上也实现了100%按实际用量付费。大家可以看一下,右边两幅图上面的是查询的ceo用量。下面的是qbs两个曲线是完全一致的。这说明用户是100%按他自己用量做付费。


5. 智能调度

最后是智能调度免运维的演示。这边三条线最底下的一条是用户的实际的ceo消耗中间的这一条是配合限制线最上面绿色的是我们的资源线。为了方便演示,我们把资源线设置到了一个上限120,大家在实际使用中,没有上限。大家可以看到在业务水位平稳增长的一个场景下,基本上是不可能遇到我们的配合线,整体的用户是透明无感的。除了在资源上的自动过多,我们会通过一些自动化手段来调整集群和所有的配置让索引始终运行在一个最佳的状态下。

 

三、关键技术解读

1、整体架构

在屏幕上的这幅图里,左边是数据面,右边是管控面,数据面是经典的三层模型,最上层为服务层。通过服务层带领请求分别到读写和原数据服务。最底下是共享存储。右边的管控面主要则是应用管控系统和智能运维系统。第一个特性开源兼容就是通过这一层服务层的包装来实现的。


(1)高性能低成本的引擎架构

通过读写分离和存在分离架构,索引只需构建1次,让本地存储也不再成为瓶颈,弹性成为可能。左上角是写服务,右上角是读服务,底层是存储服务,正如上图所说,通过网关层把读写服务,读写流量分别录留到读写服务上进行对应的计算,直接存储到openstore中, 而不是本地store。其次,优化了底层的数组机,我们将X86的数组机换成了倚天机型,这使得安全水位从30%提升到了50%,相当于资源利用率可以提升到66%。下面解释提高安全水位的原因。在图中,曲线的红色是倚天,而黄色的这个实线是X86,可以看到,当整体cpu超过4%时,在X86上性能会有急剧的退化,而在整个倚天上性能相对稳定。


(2)es内核优化

除却在架构上的优化,我们在es内核上也做了大量的优化。但是由于篇幅限制,给大家主要讲解四个优化。第一个是sourcedocvalue,即不存原文,当用户需要原文的时候,我们从docuvalue中获取原文,这样可以极大地减少存储空间,并且可以让写入速度更快。右上角这一幅则是定制化的分词器。因为es原生分词器为了通用性,会有非常多的冗余计算。我们可以针对日场景专门定制nanunas的分词器,通过这一特性,使其性能提升了20%。


接下来的左下角是指用xtd压缩替代es原身的压缩算法,并且通过定向路由机制,使得压缩率更高。而右边则是在一些特殊的缩影子段上,不存index只存ducuvalue包括在查询时通过不同过滤器进行快速减脂。通过一系列的优化,使得单位资源显著性能提升300%,存储减少70%。


(3)查询的大量优化
众所周知,在存站分离场景下,如何保证查询性能是一个很大的挑战,而我们通过并发查询,以空间换时间将多次io变成1次io将oss查询提速200%。左下角是kbala的discover页面,用过es的人可能知道当es数量很大的时候,比如达到百亿,这个页面需要很久才能刷出来,甚至十几分钟才能刷出来。我们针对这个场景做了一系列的定制优化查询策略,并且做了大量的查询点支分片类的并发查询,使得百亿数据检查提升十倍。使得百亿级的数据展示在10 秒内完成。


右下角的是应对查询稳定性做的查询慢查询自身性降级。我们重选了es的现成磁逻辑,引入到优先级队列,根据查询的历史情况,自动量慢查询降级避免快慢查询相互影响。正是这一系列从数组机到内核层面的一系列优化,让我们取得了单核能力比开源强4.5倍,压缩率强三倍的结果。


2.按量付费

大家注意左边的这副实据图,在es请求进来时,截止它对应的线程池,打上我们的应用标记,当它出去时,我们将有一个离线的任务做对应的统计,最终统计出每一个请求所消耗的cpu时间。右上角这幅图则是我们所有截取的截成尺的名字。大家可以看到,我们劫持了大量的现成池,但其实并不是所有的现成池,而由于我们不记系统开销,比如gc数据迁移,不会算给用户,由我们系统自行承担。这比机器的cpu节省至少20%的费用。


3.智能调度免运维。

我们主要分成两类的运维自动化运维。一是的资源调度,二是配置调优。而资源调度原理是基于ceo计算的能力,在es的rebelance的策略中引入ceo这一项通过es的rebelance可以保证各个节点的水位均衡。而储纳在es节点内部,在多个服务集训间,也会通过此方式来进行均衡,保证多个服务及群间的整体水位均衡。配置调优则是实时统计每一个节点的基本信息。比如它的ceo用量、内存用量、io用量、网络存储,占用的限流器的情况和现成的情况,做对应的决策以及评估索引和节点是否处在最佳的运行状态。如果可以调优,我们会自动进行调优。

 

四、快速入门

快速入门只需三步。第一步在控制台创建应用。第二步是填写基本的信息第三步等待1~2分钟,创建后里面会有用户名和antpoint用这些直接替换掉代码里原来写的es地址。在接入完成后,控制台就可以看到对应的监控。


以上是关于日志分析型四大核心能力及其背后的关键技术实现的分享。相信通过高性能、低成本,真正按量付费免运维的servence产品帮助大家有效降低日常性的成本。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
1天前
|
数据采集 人工智能 运维
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
本文介绍了阿里云 Elasticsearch 推出的创新型 AI 搜索方案
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
|
14天前
|
机器学习/深度学习 人工智能 运维
阿里云技术公开课直播预告:基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot
阿里云技术公开课预告:Elastic和阿里云搜索技术专家将深入解读阿里云Elasticsearch Enterprise版的AI功能及其在实际应用。
109 2
阿里云技术公开课直播预告:基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot
|
1天前
|
运维 Cloud Native Serverless
Serverless Argo Workflows大规模计算工作流平台荣获信通院“云原生技术创新标杆案例”
2024年12月24日,阿里云Serverless Argo Workflows大规模计算工作流平台荣获由中国信息通信研究院颁发的「云原生技术创新案例」奖。
|
16天前
|
弹性计算 运维 Serverless
超值选择:阿里云Elasticsearch Serverless在企业数据检索与分析中的高性能与灵活性
本文介绍了阿里云Elasticsearch Serverless服务的高性价比与高度弹性灵活性。
104 8
|
2月前
|
关系型数据库 Serverless 分布式数据库
PolarDB Serverless 模式通过自动扩缩容技术,根据实际工作负载动态调整资源,提高系统灵活性与成本效益
PolarDB Serverless 模式通过自动扩缩容技术,根据实际工作负载动态调整资源,提高系统灵活性与成本效益。用户无需预配高固定资源,仅需为实际使用付费,有效应对流量突变,降低总体成本。示例代码展示了基本数据库操作,强调了合理规划、监控评估及结合其他云服务的重要性,助力企业数字化转型。
32 6
|
3月前
|
存储 运维 监控
Elasticsearch Serverless 高性价比智能日志分析关键技术解读
本文解析了Elasticsearch Serverless在智能日志分析领域的关键技术、优势及应用价值。
111 8
Elasticsearch Serverless 高性价比智能日志分析关键技术解读
|
2月前
|
监控 安全 Serverless
"揭秘D2终端大会热点技术:Serverless架构最佳实践全解析,让你的开发效率翻倍,迈向技术新高峰!"
【10月更文挑战第23天】D2终端大会汇聚了众多前沿技术,其中Serverless架构备受瞩目。它让开发者无需关注服务器管理,专注于业务逻辑,提高开发效率。本文介绍了选择合适平台、设计合理函数架构、优化性能及安全监控的最佳实践,助力开发者充分挖掘Serverless潜力,推动技术发展。
82 1
|
4月前
|
人工智能 自然语言处理 Serverless
阿里云函数计算 x NVIDIA 加速企业 AI 应用落地
阿里云函数计算与 NVIDIA TensorRT/TensorRT-LLM 展开合作,通过结合阿里云的无缝计算体验和 NVIDIA 的高性能推理库,开发者能够以更低的成本、更高的效率完成复杂的 AI 任务,加速技术落地和应用创新。
183 13
|
12天前
|
人工智能 Serverless API
尽享红利,Serverless构建企业AI应用方案与实践
本次课程由阿里云云原生架构师计缘分享,主题为“尽享红利,Serverless构建企业AI应用方案与实践”。课程分为四个部分:1) Serverless技术价值,介绍其发展趋势及优势;2) Serverless函数计算与AI的结合,探讨两者融合的应用场景;3) Serverless函数计算AIGC应用方案,展示具体的技术实现和客户案例;4) 业务初期如何降低使用门槛,提供新用户权益和免费资源。通过这些内容,帮助企业和开发者快速构建高效、低成本的AI应用。
57 12
|
5月前
|
Serverless API 异构计算
函数计算产品使用问题之修改SD模版应用的运行环境
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。

相关产品

  • 函数计算