阿里云ES全观测引擎TimeStream时序增强功能重磅发布,助力时序场景实现最佳实践

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 阿里云ES全观测引擎TimeStream时序增强功能最新发布,在云原生ELK全托管基础上,通过TimeStream时序增强功能插件,可实现高性能、低成本时序数据存储和查询分析。本文介绍TimeStream适用场景、功能优势、性能测试结果和实践案例

Elasticsearch的全观测能力

视频介绍>>


随着企业IT系统拓扑结构日趋复杂,系统架构从单体道分布式再到微服务,部署模式从物理服务器部署到虚拟化再到容器化应用,基础设施上云后开发模式也从传统瀑布式到DevOps开发运维结合。复杂的系统链路中多种数据源背后,是不同的数据类型,以及极高的海量非结构化数据的统一采集、加工、存储和维护成本。在传统SRE运维场景之外,企业业务场景在实时分析、安全审计、用户行为、运营增长、交易记录场景衍生出各类应用,由此带来多套观测方案交织,维护成本大幅提升,同一个业务组件或系统,产生的数据不同方案中数据难互通,无法充分发挥数据价值。

由此,各个企业也越发关注对系统可观测能力的建设,迫切需要把各类数据在统一平台进行存储、监控和检索分析。业内公认,log、metric、trace是全观测的三大支柱,通过搭建统一的观测系统,在运维场景帮助运维人员在「事前」了解系统运行状态,「事中」快速定位故障,「事后」根因分析,以此提升系统高可用,降本增效。但在全观测技术演进过程中,不仅需要跨云、跨业务系统实现日志和时序数据的观测,而日志、时序等各类数据场景支撑的技术原子工具繁多,工具之间的衔接困难,技术组价及平台的维护成本高。

可观测作为Elastic三大核心解决方案之一,基于Elasticsearch全观测能力可以统一收集日志、指标、uptime数据、应用程序跟踪tracing数据,并将各类数据统一存储到 Elasticsearch,进行统一处理分析并基于Kibana 完成可视化。从而可观测场景下实现了技术栈统一,SRE团队也无须基于多种技术组件搭建可观测平台。




在全观测场景下,阿里云Elasticsearch在基于云原生Serverless日志引擎能力,持续优化在海量日志数据的写入性能及存储成本。而在对Metric时序数据的存储和处理过程中,往往会面临以下几个问题:



image.png


TimeStream是什么?


TimeStream是阿里云Elasticsearch团队自研,并结合Elastic社区时序类产品特性共建的时序引擎。在云原生ELK全托管基础上,通过TimeStream时序增强功能插件,可实现高性能、低成本时序数据存储和查询分析。


阿里云ES TimeStream的优势


作为Ali内核深度整合的阿里云ES时序场景核心技术,Timestream大幅优化了阿里云ES时序场景的成本、性能和易用性:


  • 数据管理提效:基于Timestream时序数据模型及增删改查,集成Elasticsearch在时序场景的最佳实践模板,大幅降低了Elasticsearch管理时序指标数据的门槛
  • 查询体验提升:支持使用PromQL查询Elasticsearch数据,可无缝对接Prometheus+Grafana,支持DownSample采样查询和DataStream时间分区
  • 存储成本优化:通过数据压缩优化、元数据存储容量优化,TimeStream索引相比开源Elasticsearch普通索引的存储容量降低了80%以上
  • 读写性能提升:TimeStream索引相比开源Elasticsearch普通索引写入TPS提升近40%,对于时序数据的常用查询分析,性能相比开源Elasticsearch提升了5倍


与开源对比


时序场景中Elasticsearch在使用和不使用TimeStream插件情况下,场景化配置、存储、查询对比如下:


对比项

使用TimeStream

不使用TimeStream

场景化配置

TimeStream引擎原生支持时序类型数据模型,自动生成_tsid,indexing sort优化

需要用户进行大量指标场景最佳实践,例如生成一个时间线id字段,使用时间线id和时间配置indexing sorting,使用时间线id做routing等

存储

  • ali-codec插件支持通过doc_values生成_source
  • 支持不存储_id
  • ali-codec在时序场景压缩优化
  • 时序场景_id、_source等元数据字段占用70%+存储容量
  • doc value对double类型压缩不友好,时序场景数据相似度很高,double数据却基本没压缩

查询语句

支持PromQL查询DSL

专门构建query DSL查询Metric数据

降采样

简单配置时间间隔,即可支持降采样功能

需要用户侧自行进行降采样处理

时间分区

按照实际数据分区,一个时间范围的数据会分布在确定的索引中

按写入的顺序分区,一个时间范围的数据可能分布在很多索引中


性能对比


从benchmark对比结果看, 阿里云Elasticsearch基于TimeStream实现了Elasticsearch时序读写性能大幅提升,核心性能与传统开源时序类产品处于同一级别


存储容量方面

TimeStream索引相比开源Elasticsearch普通索引存储容量降低超过80%

TimeStream支持不存储_id,使得与同等条件下存储_id的普通索引相比,存储容量降低超过90%,与开源时序数据库持平;



写入性能方面

TimeStream索引相比开源Elasticsearch普通索引提升写入TPS提升近40%


1659511155379-c8b24db1-3aef-4ac4-98b5-93d489c55af9.png


查询性能方面

单并发简单查询,阿里云ES接近开源时序产品;

单并发复杂查询,阿里云ES TimeStream查询性能表现更优。

多并发,简单和复杂查询语句下阿里云ES TimeStream 查询性能表现更优




实践案例

案例A:TimeStream管理Elasticsearch时序数据快速入门


STEP1 购买和使用


TimeStream目前支持阿里云ES 7.16版本实例(内核版本1.7.0及以上)



通过系统默认插件列表查看是否已安装Aliyun-TimeStream插件,确认拥有TimeStream最新功能




STEP2 创建TimeStream时序数据索引


在Kibana控制台通过time_stream的create接口创建时序数据类型索引,命令及返回结果如下。



STEP3 写入数据


使用bulk、index接口写入数据,写入时需按照时序模型写入(模型字段可修改),命令及返回结果如下。



STEP4 查询数据


使用search接口查询数据,以及使用cat indices接口查看test_stream具体索引信息,命令及返回结果如下:



STEP5 使用DownSample功能


通过time_stream的create接口创建时,可直接指定DownSample规则,通过配置interval设定downsample精度,示例如下:

相关文档>>


案例B:使用阿里云ES TimeStream对接Prometheus+Grafana实现可观测性


阿里云Elasticsearch支持无缝对接Prometheus+Grafana,支持Prometheus Query相关的API,可以直接将TimeStream索引作为Grafana的Prometheus数据源使用,能够提高时序数据存储与查询分析的性能,同时节约成本。

通过node_expoter收集各种与硬件和内核相关的指标,并提供给Prometheus进行读取,再通过remote write将数据写入阿里云ES TimeStream索引,并通过配置Grafana进行可视化分析。



下图示例在Grafana配置Prometheus数据源,使用PromQL查询作为Prometheus数据源的阿里云ES数据,访问并可视化。


相关文档>>



相关文档

 TimeStream时序增强引擎介绍 - 检索分析服务Elasticsearch版 - 阿里云

 使用Aliyun-TimeStream插件 - 检索分析服务Elasticsearch版 - 阿里云

 TimeStream集成Prometheus接口 - 检索分析服务Elasticsearch版 - 阿里云

 TimeStream管理Elasticsearch时序数据快速入门 - 检索分析服务Elasticsearch版 - 阿里云

 基于TimeStream对接Prometheus+Grafana实现可观测性 - 检索分析服务Elasticsearch版 - 阿里云


联系我们(钉群二维码)

更多可观测场景架构及使用最佳实践交流,欢迎扫描二维码加入钉群>>

阿里云ES 1元包月试用>>👆🏻

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
5天前
|
SQL 分布式计算 关系型数据库
阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
本文以云厂商售后技术支持的角度,从客户的需求出发,对于阿里云EMR-Trino集群的选型,外连多引擎的场景、Ldap以及Kerberos鉴权等问题进行了简要的实践和记录,模拟客户已有的业务场景,满足客户需求的同时对过程中的问题点进行解决、记录和分析,包括但不限于Mysql、ODPS、Hive connector的配置,Hive、Delta及Hudi等不同表格式读取的兼容,aws s3、阿里云 oss协议访问异常的解决等。
|
2月前
|
文字识别 API 数据安全/隐私保护
可以使用阿里云文字识别服务中的个人证照识别功能。
可以使用阿里云文字识别服务中的个人证照识别功能。【1月更文挑战第21天】【1月更文挑战第102篇】
13 1
|
11天前
|
存储 编解码 缓存
购买阿里云服务器如何选择实例?根据业务场景与细分场景选择实例规格
对于很多初次购买阿里云服务器的用户来说,面对众多可选择的云服务器实例规格,往往不知道如何选择,不同实例规格适用于不同的业务场景,本文为大家汇总了不同业务场景和细分场景下应该选择的主要实例规格,以及这些实例规格的主要性能和适用场景,如果你不知道如何选择阿里云服务器的实例规格,不妨根据自己的场景参考本文所推荐的主要实例规格来选择。
购买阿里云服务器如何选择实例?根据业务场景与细分场景选择实例规格
|
1月前
|
监控 Java 测试技术
阿里云推出 3.x Java 探针,解锁应用观测与治理的全新姿势
阿里云推出 3.x Java 探针,解锁应用观测与治理的全新姿势
174212 4
|
1天前
|
边缘计算 专有云 虚拟化
阿里云神龙在智慧办公场景下的特点
阿里云神龙在智慧办公场景下的特点
|
3天前
|
存储 人工智能 安全
阿里云第八代云服务器实例通用型g8i实例性能和适用场景介绍
随着云计算技术的不断演进,阿里云作为国内领先的云服务提供商,持续推出创新的云服务器实例以满足不同用户的需求。近日,阿里云宣布其第八代云服务器ECS g8i实例已经完成全新升级。g8i实例采用CIPU+飞天技术架构,并搭载最新的Intel 第五代至强可扩展处理器(代号EMR),不仅性能得到大幅提升,同时还拥有AMX加持的AI能力增强,以及全球范围内率先支持的TDX机密虚拟机能力。这些特性使得g8i实例在AI增强和全面安全防护两大方面表现出色,尤其适用于在线音视频及AI相关应用。
阿里云第八代云服务器实例通用型g8i实例性能和适用场景介绍
|
4天前
|
SQL 监控 测试技术
阿里云可观测 2024 年 2 月产品动态
阿里云可观测 2024 年 2 月产品动态
|
14天前
|
算法 Java 开发工具
使用阿里云KMS产品针对 Springboot 接口参数加密解密功能
针对Springboot里面使用开源工具使用加解密,替换成阿里云KMS产品进行加解密;
49 1
|
14天前
|
自然语言处理 算法 关系型数据库
阿里云PAI大模型RAG对话系统最佳实践
本文为大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
|
23天前
|
文字识别 安全 API
阿里云文字识别OCR的发票凭证识别功能可以通过API接口的形式进行调用
【2月更文挑战第5天】阿里云文字识别OCR的发票凭证识别功能可以通过API接口的形式进行调用
34 5

相关产品

  • 检索分析服务 Elasticsearch版