带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (4)

简介: 带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (4)

《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.13.Transform (3) https://developer.aliyun.com/article/1228174


任务修改

 

ES允许我们在 Transforms 任务运行时修改任务,只需要发送如下请求:

 

POST _transform/<transform_id>/_update
{
  // request body
}

请求 body 是创建任务 body 的子集,即除了pivot属性只能在创建时配置外,其他属性都能在任务创建后修改。

 

任务销毁

 

当 Transforms 任务完成它的使命,我们可以彻底删除它,仅需要发送1个 Delete 请求即可,具体如下:


DELETE _transform/<transform_id>?force=true

用于指定任务id,请求可以传入1个force参数,当是true时,无论当前状态如何,都会删除任务。默认值为false,这意味着必须先将任务暂停即状态为 stopped才能将其删除。

 

使用建议


之前的小节已将详细的介绍了有关 Transforms 任务的 API,相信大家对它的功能已经有了一个大概的认识。其实 Transforms 的本质是使用现有的Aggregation API来处理的,那么什么时候使用Transforms什么时候使用Aggregation呢?那么作者建议有以下情况时可以考虑使用Transforms而非Aggregation。

 

1、当需要聚合每个分桶详细的统计,而非 Top-N 时,则可以考虑使用 Transforms,此需求在机器学习的场景中比较普遍。

2、当你有搜索1个或多个聚合结果并要求返回结果排序时,可以考虑 Transforms。虽然

Aggregation API 也可以排序和过滤,但由于每个桶有最大返回数据量的限制,所以效果没有

Transforms 好。

3、如果有对管道集合(Pipeline aggregations)排序的需求,建议用 Transforms ,原则上管道聚合不支持排序。

4、如果聚合请求场景单一且频繁,比如结果用于绘制看板,建议使用 Transforms 可以提高响应速度,减少资源消耗。

 

在Transform任务持续运行是,ES使用检查点机制来判断是否有变更需要同步到目标索引中。具体逻辑是,每经过frequency配置的时长,ES便会查看sync.time.field属性在当前减去

sync.time.delay到上一个检查点这段时间范围内有没有新增或变更文档。如果没有则不生成新的检查点,如果有则生成新的检测点。生成新检查点时会根据pivot.group_by的分桶设置,查看上述时间范围内有哪些分桶发生了改变,对于改变的分桶重算其统计值。整个过程需要注意2点。第一,如果新插入文档的sync.time.field属性不在当前到上一个检查点的范围内,则也不会触发生成新的检查点。比如,上一个检查点是1585344558000,之后2分钟内仅在1585346418010时插入了一个新的文档,但该文档sync.time.field属性的值是1585344557000,那么在1585346478000检验时,由于1585344557000不在 [1585344558000,1585346478000] 范围内,索引不会创建检验点,因此目标索引的统计里也不包含此条文档。第二,当生成新的检查点时,仅会更新新检查点到上一个检查点之间有变更的分桶,更新方式是基于所有索引内所有文档计算变更分桶的新汇总信息。比如,上一个检查点的时间是t1,新检查点是 t2 ,sync.time.field属性在 [ t1, t2 ] 时间范围内新增了3个文档,他们分别落在 a,c,d 3 个分桶中,那么将使用 [0,t2] 时间段内的全部文档重新计算这3个分桶,b 分桶由于没有变化则不会重新计算。

最后我们来聊一聊Transforms的限制,具体如下:

 1、单个集群最多可以创建1000个 Transforms 任务。

2、目标索引最好手动创建,不要让 ES 自动创建,因为自动推断的映射可能与实际数据不符,这会导致任务在运行过程中不可用。

3、由于 Transforms 底层通常使用的是复合聚合(Composite aggregations),由于复合聚合不支持搜索上下文,如果任务正在进行时源索引有删除、更改、新增数据,那么此次任务可能会遗留这些变更,后端变更触发分桶重算时这边变更才会被统计。

4、只有当sync.time.field属性已更新并且在2次检查点的时间范围内,更改的实体才会被识别。

5、如果源索引删除了部分数据且有些分桶只在删除数据里有,新增文档不包含这些分桶,那么目标索引的这些分桶永远不会被删除成为脏数据。

6、删除 Transforms 任务不能删除目标索引即使这个目标索引是自动创建的。

7、由于 Transforms 任务底层使用复合聚合,该聚合支持分页,非常适合分桶数多的聚合。对于 Transforms 任务我们优化的重点应该是控制其资源的使用而非效率,max_page_search_size可用来控制复合聚合最大的分页数,较小的分页数可以减轻集群压力,但过小会导致每次任务耗时较长。

8、索引的index.max_terms_count控制Term查询中可以使用的最大term数,因此该值必须大于max_page_search_size,如果max_page_search_size超过index.max_terms_count,任务将失败。

9、失败的任务仍然是一项持久任务,正确是处理方式是删除它或解决失败的根本原因并重新启动。

10、由于录入 ES 的文档并不是立马可搜索的,在不可搜的时候有任务执行,则会导致统计结果不准。其原因是任务判断是否有变更的依据是搜索sync.time.field在当前时间减去sync.time.delay延迟到上一个检查点范围内是否有变更文档,不可搜会导致错过本次检测,同时下次检测的时间范围也不包含此次更新,因此只要能保证在sync.time.delay时间内文档达到可搜的状态,即可此种情况。

11、即便你的数据是date_nanos类型,但聚合精度只能达到毫秒级。

12、数据流Data streams不能作为目标索引。

 

创作人简介:

骆潇龙,目前在快手从事数据平台系统研发工作。致力于学习领先的数据技术,激活数据价值,赋能业务,打造具有核心竞争力的数据平台。

博客:https://blog.gaiaproject.club/

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。 &nbsp;
相关文章
|
7月前
|
人工智能 运维 安全
阿里云Qwen3.6-27B是什么?阿里云Qwen3.6-27B 解析:稠密架构、百万上下文与企业级部署
阿里云Qwen3.6-27B是通义千问团队推出的一款**270亿参数稠密型多模态大语言模型**,以“小参数、强性能”为核心定位,在编程能力、长文本处理、多模态理解与智能体执行等方面实现突破性表现,是面向开发者与企业的新一代开源旗舰模型。该模型采用Apache 2.0开源协议,支持完全商用、本地部署与二次开发,凭借稠密架构的简洁性、百万级上下文能力与媲美千亿模型的智能体表现,成为当前开源社区的热门选择。以下从技术架构、核心能力、性能表现、部署方式与应用场景等维度,全面解析Qwen3.6-27B的全貌。
4636 3
|
10月前
|
存储 人工智能 运维
真实案例复盘:从“三套烟囱”到 All in ES,这家企业如何砍掉 40%运维成本
某泛娱乐平台面临搜索架构复杂、成本高企难题,通过阿里云Elasticsearch实现日志、搜索、向量一体化重构。借助Serverless化与混合存储,成本降60%,运维统一,查询效率倍增,验证了“All in ES”极简架构在AI时代的高效与可扩展性。
595 1
|
存储 分布式计算 MaxCompute
Hologres实时湖仓能力入门实践
本文由武润雪(栩染)撰写,介绍Hologres 3.0版本作为一体化实时湖仓平台的升级特性。其核心能力包括湖仓存储一体、多模式计算一体、分析服务一体及Data+AI一体,极大提升数据开发效率。文章详细解析了两种湖仓架构:MaxCompute + Hologres实现离线实时一体化,以及Hologres + DLF + OSS构建开放湖仓架构,并深入探讨元数据抽象、权限互通等重点功能,同时提供具体使用说明与Demo演示。
|
存储 SQL 监控
Hologres Dynamic Table快速入门
本文由Hologres PD赵红梅分享,主题为Dynamic Table快速入门。内容分为三部分:一是介绍Dynamic Table,包括其在实时数仓中的应用场景及技术实现;二是讲解Dynamic Table的使用方法与实操,涵盖全量、增量及混合刷新模式的创建与操作;三是提供使用建议,如选择刷新模式、监控延迟、分区表应用及计算资源分配等。此外,还对比了Dynamic Table与其他产品(如DIS异步物化视图和Snowflake Dynamic Tables)的功能差异,并推荐下载Hologres 3.0实践手册以深入了解一体化实时湖仓平台的最新功能。
|
SQL DataWorks 关系型数据库
阿里云 DataWorks 正式支持 SelectDB & Apache Doris 数据源,实现 MySQL 整库实时同步
阿里云数据库 SelectDB 版是阿里云与飞轮科技联合基于 Apache Doris 内核打造的现代化数据仓库,支持大规模实时数据上的极速查询分析。通过实时、统一、弹性、开放的核心能力,能够为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 具备世界领先的实时分析能力,能够实现秒级的数据实时导入与同步,在宽表、复杂多表关联、高并发点查等不同场景下,提供超越一众国际知名的同类产品的优秀性能,多次登顶 ClickBench 全球数据库分析性能排行榜。
1142 6
|
SQL 关系型数据库 MySQL
Maxwell - 增量数据同步工具(1)
Maxwell - 增量数据同步工具
|
消息中间件 缓存 uml
面试官:RocketMQ 的推模式和拉模式有什么区别?
面试官:RocketMQ 的推模式和拉模式有什么区别?
1866 1
面试官:RocketMQ 的推模式和拉模式有什么区别?
|
DataWorks
DataWorks售前咨询
DataWorks售前咨询
17790 8
DataWorks售前咨询
|
监控 API 调度
带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (3)
带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (3)
359 0

热门文章

最新文章