带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (1)

简介: 带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (1)

3.5.13.Transform


创作人:骆潇龙

审稿人:刘帅

 

概述

 

Elasticsearch 为用户提供了强大全文搜索功能,但是以扫描聚合操作为核心的 OLAP 计算并不是 Elasticsearch 的强项。这些劣势主要有:多维度分组时排序、分页效果不好;复杂聚合(Composite aggregation)后无法按照分组文档个数进行排序;不支持 Join 查询;无法高效获取聚合操作中每个分桶的精确信息(获取 TopN 十分高效)。产生这些劣势的主要原因有,Elasticsearch 本质是基于 Lucene 的分布式系统,底层数据的存储结构混合使用了列式存储和行式存储,采用Scatter-Gather计算模型。聚合时先将请求分散到各个 shard 上独立进行计算,然后由协调节点收集所有结果计算出最终结果。

 

为了弥补 OLAP 计算上的不足,较低搜索成本,Elasticsearch 提出得解决思路是预计算聚合结果并落地保存,这样业务使用时只用简单聚合,甚至直接查询就可得出结果。该功能可在

7.2版本以后用Transforms API 来实现。Transforms API 允许用户定义 Transforms 任务,每隔一段时间对某1个索引执行聚合计算,并将结果保存在新的索引中。通过此功能用户可以将以事件流水为中心的索引转化为记录实体行为的汇总索引,以便进行数据分析。

 

本文主要为大家介绍如何使用 Transforms 功能。为了让大家对其有个感性认识,本文首先会介绍如何在 Kibana 上快速配置 Transforms 任务。然后,以生命周期为依据,介绍如何使用API 创建、执行、修改和关闭 Transform 任务。最后,将介绍一些 Transform 使用建议,主要包括何时用 Transforms 代替 aggregations,Transforms 任务变更检测机制 —— checkpoint 以及 Transforms 的一些限制。

 

快速开始


本小节介绍如何在 Kibana 使用自带的Sample eCommerce Order数据快速创建并执行

Transforms 任务。Sample eCommerce Order数据 Elasticsearch 提供的样例数据,这些数据是1家电子商务公司的订单流水表。基于这些数据我们希望得到每个用户的消费汇总信息,此时使用 Transforms 功能代替频繁的 aggregations 操作是明智的选择。

 

添加数据集

 

在 Kibana 首页选择添加数据

image.png


选择添加Sample eCommerce Order样例数据。


image.png


创建并执行 Transforms 任务

 

首页点击 Manage->Transforms 进入任务管理页面,点击 Create a transforms 创建任务,并选择 [eCommerce]Order 索引。

 

image.png

image.png

image.png


配置1个 Transforms 任务总共分3步,第一步,选择分组属性和聚合方式。本例中用用户ID 作为分组属性,用购买商品数、税前订单价和订单 ID 作为聚合属性,计算每个用户购买的总商品数据,单个订单最多购买商品数,总消费金额以及每个用户下单总数。


image.png


第二步,设置任务基本信息,主要包括,任务 id、新索引名称、执行模式。


image.png


第三步,执行,点击Create and start,开始实际执行任务。执行完成后会出现新的索引

ecommerce-user-consumes

image.png

Transforms 管理

 

执行完成后,我们可以在Transforms任务管理栏浏览、修改、删除任务。


image.png


Transforms API 介绍

 

上一小节我们介绍了在 Kibana 上配置 Transforms 任务,本小节将详细介绍如何用 REST

API 管理 Transforms 任务。Transforms 任务一样都有生命周期的概念。1个完整的 Transforms 任务的生命周期主要包括:前期准备、任务初始化及开始、任务维护、任务销毁。在任务维护中可以监控任务运行状态、暂停并修改任务。下面将详细介绍这几个环节的 API。

 


 《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.13.Transform (2) https://developer.aliyun.com/article/1228176


相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
监控 安全 Linux
Qt 文件类实战:解锁文件操作的无限可能
Qt 文件类实战:解锁文件操作的无限可能
1153 1
|
7月前
|
缓存 Java PHP
包管理生态的深度对比——从Composer、Maven到Conan的演进逻辑
包管理解决了三个问题:依赖发现(哪里找到库)、依赖描述(需要什么版本)、依赖解析(版本冲突解决)以及依赖传递(A依赖B,B依赖C)。PHP、Java、C++的包管理器因语言运行时特性和社区文化而形态各异。
316 0
|
10月前
|
存储 人工智能 运维
真实案例复盘:从“三套烟囱”到 All in ES,这家企业如何砍掉 40%运维成本
某泛娱乐平台面临搜索架构复杂、成本高企难题,通过阿里云Elasticsearch实现日志、搜索、向量一体化重构。借助Serverless化与混合存储,成本降60%,运维统一,查询效率倍增,验证了“All in ES”极简架构在AI时代的高效与可扩展性。
595 1
|
存储 分布式计算 MaxCompute
Hologres实时湖仓能力入门实践
本文由武润雪(栩染)撰写,介绍Hologres 3.0版本作为一体化实时湖仓平台的升级特性。其核心能力包括湖仓存储一体、多模式计算一体、分析服务一体及Data+AI一体,极大提升数据开发效率。文章详细解析了两种湖仓架构:MaxCompute + Hologres实现离线实时一体化,以及Hologres + DLF + OSS构建开放湖仓架构,并深入探讨元数据抽象、权限互通等重点功能,同时提供具体使用说明与Demo演示。
|
数据采集 机器学习/深度学习 运维
从数据感知到决策优化:MyEMS 开源能源管理系统的技术架构与实践效能解析
MyEMS 是一款开源能源管理系统,采用分层解耦与模块化设计,支持多能源协同监测与智能优化调度。系统具备数据采集、分析、预警、碳核算等功能,助力企业实现节能降耗、安全管控与低碳转型,已在百余家全球企业落地应用,具备自主可控、成本低、安全性强等优势,面向虚拟电厂、数字孪生等未来场景持续演进。
699 0
|
数据采集 Kubernetes 网络协议
MyEMS简介
MyEMS是一款领先的开源能源管理系统,基于云计算、物联网、大数据和人工智能技术构建,提供统一且功能强大的综合能源管理服务。系统由资深团队开发维护,支持多种协议(如Modbus TCP、BACnet/IP、MQTT)和多平台部署(如Docker、Kubernetes、各大云平台)。社区版功能全面,涵盖数据分析、设备管理、能耗监测等,适合各类用户需求。企业版则提供更多高级功能,如节能分析、远程控制和多协议支持。代码遵循MIT协议开源,支持品牌定制,适用于免费及商业应用场景。
909 2
|
机器学习/深度学习 人工智能 运维
智能调度:自动化运维的"最强大脑"进化论
智能调度:自动化运维的"最强大脑"进化论
1202 15
|
SQL DataWorks 关系型数据库
阿里云 DataWorks 正式支持 SelectDB & Apache Doris 数据源,实现 MySQL 整库实时同步
阿里云数据库 SelectDB 版是阿里云与飞轮科技联合基于 Apache Doris 内核打造的现代化数据仓库,支持大规模实时数据上的极速查询分析。通过实时、统一、弹性、开放的核心能力,能够为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 具备世界领先的实时分析能力,能够实现秒级的数据实时导入与同步,在宽表、复杂多表关联、高并发点查等不同场景下,提供超越一众国际知名的同类产品的优秀性能,多次登顶 ClickBench 全球数据库分析性能排行榜。
1142 6
|
存储 固态存储 安全
阿里云服务器香港地域租用收费标准参考
阿里云有香港云服务器吗?当然是有的,香港地域云服务器即可满足外贸型企业用户需求,也可以满足部分国内用户的需求,本文为大家展示2024年阿里云服务器香港地域的最新收费标准,以供参考。
阿里云服务器香港地域租用收费标准参考
|
Ubuntu Linux Shell
树莓派ubuntu镜像备份详细教程
本文是关于树莓派Ubuntu镜像备份的详细教程,包括如何获取镜像、使用PiShrink工具减小镜像体积的步骤和命令,以及相关参数的说明。
949 0

热门文章

最新文章