带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (3)

简介: 带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (3)

《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.13.Transform (2) https://developer.aliyun.com/article/1228176

任务维护

 

任务监控

 

任务在持续执行的过程中监控任务状态是必不可少的,我们可以使用如下 GET 请求获取任务状态。


GET _transform/<transform_id>/_stats?from=0&size=100   #1

其中  可以填1个或多个(逗号分割)任务 ID,也可以使用*模糊查找,同样可以不填或者使用 _all搜索全部任务。请求可以使用from和size实现分页,from默认是0size默认是100。请求非返回如下:


{
  "count" : 1,     # 结果总数
  "transforms" : [
    {
      "id" : "ecommerce-customer-transform",        # 1
      "state" : "started",                          # 2
      "node" : {                                    # 3
        "id" : "cpTIGMsVQ8Gqwqlxxxxxxx",
        "name" : "my.home",
        "ephemeral_id" : "5-L21nFsQxxxxxxxxxx-xx",
        "transport_address" : "127.0.0.1:9300",
        "attributes" : { }
      },
      "stats" : {                         # 4
        "pages_processed" : 78,
        "documents_processed" : 6027,
        "documents_indexed" : 68,      
        "trigger_count" : 168,
        "index_time_in_ms" : 412,
        "index_total" : 20,
        "index_failures" : 0,
          "search_time_in_ms" : 353,
        "search_total" : 78,
        "search_failures" : 0,
        "processing_time_in_ms" : 8,
        "processing_total" : 78,
        "exponential_avg_checkpoint_duration_ms" : 97.30637923893185,
        "exponential_avg_documents_indexed" : 2.2064915040974062,
        "exponential_avg_documents_processed" : 179.89419945785045
      },
      "checkpointing" : {       #5
        "last" : {
          "checkpoint" : 20,
          "timestamp_millis" : 1585344558220,
          "time_upper_bound_millis" : 1585344498220
        },                  
        "changes_last_detected_at" : 1585344558219  
      }
    }
  ]
}

响应结果首先会用count字段显示匹配的任务总数,然后用transforms数组枚举各个任务,每个任务由以下信息构成:

 

1、id(#1)任务 ID

2、state(#2)任务状态枚举值,可能有以下几种:

l aborting: 异常中止。

l failed: 失败,有关失败的更多信息,请检查reason字段。

l indexing: 任务执行中,正在处理数据并创建新文档。

l started: 任务正常运行,但未处理数据。

l stopped: 任务已停止,一次性任务执行完成则会进入该状态。

3、stopping: 任务已暂停,一般是周期任务被手动停止。

l node(#3):开启transform的节点列表,每个节点有以下信息:

l id:节点的唯一标识符。

l ephemeral_id:节点临时 ID。

l attributes:节点的属性列表。

l name:节点名称。

l transport_address:接受传输 HTTP 连接的主机和端口。

4、stats(#4):提供有 Transform 任务统计信息的对象,主要有以下信息:

l documents_indexed:(long型) 已写入目标索引的文档数。

l documents_processed:(long型) 源索引已处理的文档数。

l exponential_avg_checkpoint_duration_ms:(double型) 每次任务平均耗时,以毫秒为单位。

l exponential_avg_documents_indexed:(double型) 每次任务平均写入新索引的文档数。

l exponential_avg_documents_processed:(double型) 每次任务平均处理的源索引的文档数。

l index_failures:(long型)插入文档失败的次数。

l index_time_in_ms:(long型)插入文档花费的时间,以毫秒为单位。

l index_total:(long型) 创建的索引数。

l pages_processed:(long型) 搜索或批量插入操作的次数。文档是批量处理的,而不是单独处理的。

l processing_time_in_ms:(long型)处理结果所花费的时间,以毫秒为单位。

l processing_total:(long型)处理操作的数量。

l search_failures:(long型)搜索失败的次数。

l search_time_in_ms:(long型)搜索所花费的时间,以毫秒为单位。

l search_total:(long型)在源索引上执行搜索操作的数。

l trigger_count:(long型)调度程序触发任务的次数。与frequency属性中指定的时间间隔检有关。


5、checkpointing(#5),任务检查点的信息,每次任务执行完且源索引有数据变更时产生检查点。

l changes_last_detected_at:(日期)上次在源索引中检测到更改的时间戳。

l last:(对象),上一个检查点的信息。

○ checkpoint:(整数)检查点的序列号。

○ time_upper_bound_millis:(date) 使用基于时间的同步时,此时间戳表示检查点中包含的数据的上限。

○ timestamp_millis:(日期)检查点创建的时间戳。

l next:(对象)包含当前正在进行的下一个检查点的统计信息。此对象仅在转换state为时出现indexing。具体内容比last对象多一个checkpoint_progress属性,包含有关检查点进度的统计信息。该属性仅出现于一次性任务或连续任务的第一个检查点。它含有了total_docs,docs_remaining,percent_complete,docs_processed,和docs_indexed。

l operations_behind:(整数)已在源索引上发生但尚未应用于目标索引的操作数。该值较高表示任务处理未能跟上。一次性任务一般此值较高。

6、reason,如果任务的状态为failed,则此属性提供有关失败原因的详细信息。

 

任务暂停

 

由于各种原因,有将持续执行的 Transforms 任务临时暂停的需求,请求如下:

 

POST _transform//_stop?force=true&timeout=30s&wait_for_completion=true&wait_for_checkpoint=true

 

其中请求路径中  为任务 id,可一次配置多值或用_all暂停全部。请求还接受以下4个请求参数:

 

1、force,可选,布尔值,设置为true停止失败的任务或强制停止未响应初始停止请求的任务。


2、wait_for_completion,可选,布尔值,如果设置为true,则API在得到响应前会阻塞,直到任务完全停止。如false,则 API 立即返回,索引器将在后台异步停止。默认为false。


 3、timeout,可选,时间值,如果wait_for_completion=true,API 会在(最多)指定的持续时间内阻塞,同时等待任务停止。如果超过timeout时间,API 将抛出超时异常,但停止请求仍在进行知道任务变为STOPPED状态。超时只是意味着 API 调用本身在等待状态更改时超时。默认为30s。


4、wait_for_checkpoint,可选,布尔值,如果设置为true,则在当前正在执行的任务完成之前不会完全停止。如果设置为false,任务会尽快停止。默认为false。


《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.13.Transform (4) https://developer.aliyun.com/article/1228170

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。 &nbsp;
相关文章
这一招,让ppt、word中的字体到别的电脑上也不变样儿!
今天,不坑老师就教大家一招儿,让你的PPT、Word、Excel文档里面花里糊哨的字体、样式在别人电脑中也能正常展示。
1572 0
|
7月前
|
人工智能 运维 安全
阿里云Qwen3.6-27B是什么?阿里云Qwen3.6-27B 解析:稠密架构、百万上下文与企业级部署
阿里云Qwen3.6-27B是通义千问团队推出的一款**270亿参数稠密型多模态大语言模型**,以“小参数、强性能”为核心定位,在编程能力、长文本处理、多模态理解与智能体执行等方面实现突破性表现,是面向开发者与企业的新一代开源旗舰模型。该模型采用Apache 2.0开源协议,支持完全商用、本地部署与二次开发,凭借稠密架构的简洁性、百万级上下文能力与媲美千亿模型的智能体表现,成为当前开源社区的热门选择。以下从技术架构、核心能力、性能表现、部署方式与应用场景等维度,全面解析Qwen3.6-27B的全貌。
4636 3
|
10月前
|
存储 人工智能 运维
真实案例复盘:从“三套烟囱”到 All in ES,这家企业如何砍掉 40%运维成本
某泛娱乐平台面临搜索架构复杂、成本高企难题,通过阿里云Elasticsearch实现日志、搜索、向量一体化重构。借助Serverless化与混合存储,成本降60%,运维统一,查询效率倍增,验证了“All in ES”极简架构在AI时代的高效与可扩展性。
595 1
|
人工智能 安全 算法
山东电力调度的AI“向新力”:电力调度,从“人工经验”到“数智赋能”的跃迁之路
国网山东电力携手阿里云及南瑞集团,打造“电网调度智慧大脑”,通过AI技术实现电力调度从自动化向智能化的跨越。该系统基于国产算力和大模型,融合气象、电网运行等多源数据,提升负荷预测、故障处置等能力,为新型电力系统建设提供“山东方案”。
1693 0
|
存储 分布式计算 MaxCompute
Hologres实时湖仓能力入门实践
本文由武润雪(栩染)撰写,介绍Hologres 3.0版本作为一体化实时湖仓平台的升级特性。其核心能力包括湖仓存储一体、多模式计算一体、分析服务一体及Data+AI一体,极大提升数据开发效率。文章详细解析了两种湖仓架构:MaxCompute + Hologres实现离线实时一体化,以及Hologres + DLF + OSS构建开放湖仓架构,并深入探讨元数据抽象、权限互通等重点功能,同时提供具体使用说明与Demo演示。
|
数据采集 机器学习/深度学习 运维
从数据感知到决策优化:MyEMS 开源能源管理系统的技术架构与实践效能解析
MyEMS 是一款开源能源管理系统,采用分层解耦与模块化设计,支持多能源协同监测与智能优化调度。系统具备数据采集、分析、预警、碳核算等功能,助力企业实现节能降耗、安全管控与低碳转型,已在百余家全球企业落地应用,具备自主可控、成本低、安全性强等优势,面向虚拟电厂、数字孪生等未来场景持续演进。
699 0
|
数据采集 Kubernetes 网络协议
MyEMS简介
MyEMS是一款领先的开源能源管理系统,基于云计算、物联网、大数据和人工智能技术构建,提供统一且功能强大的综合能源管理服务。系统由资深团队开发维护,支持多种协议(如Modbus TCP、BACnet/IP、MQTT)和多平台部署(如Docker、Kubernetes、各大云平台)。社区版功能全面,涵盖数据分析、设备管理、能耗监测等,适合各类用户需求。企业版则提供更多高级功能,如节能分析、远程控制和多协议支持。代码遵循MIT协议开源,支持品牌定制,适用于免费及商业应用场景。
909 2
|
存储 SQL 监控
Hologres Dynamic Table快速入门
本文由Hologres PD赵红梅分享,主题为Dynamic Table快速入门。内容分为三部分:一是介绍Dynamic Table,包括其在实时数仓中的应用场景及技术实现;二是讲解Dynamic Table的使用方法与实操,涵盖全量、增量及混合刷新模式的创建与操作;三是提供使用建议,如选择刷新模式、监控延迟、分区表应用及计算资源分配等。此外,还对比了Dynamic Table与其他产品(如DIS异步物化视图和Snowflake Dynamic Tables)的功能差异,并推荐下载Hologres 3.0实践手册以深入了解一体化实时湖仓平台的最新功能。
|
机器学习/深度学习 人工智能 运维
智能调度:自动化运维的"最强大脑"进化论
智能调度:自动化运维的"最强大脑"进化论
1202 15
|
SQL DataWorks 关系型数据库
阿里云 DataWorks 正式支持 SelectDB & Apache Doris 数据源,实现 MySQL 整库实时同步
阿里云数据库 SelectDB 版是阿里云与飞轮科技联合基于 Apache Doris 内核打造的现代化数据仓库,支持大规模实时数据上的极速查询分析。通过实时、统一、弹性、开放的核心能力,能够为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 具备世界领先的实时分析能力,能够实现秒级的数据实时导入与同步,在宽表、复杂多表关联、高并发点查等不同场景下,提供超越一众国际知名的同类产品的优秀性能,多次登顶 ClickBench 全球数据库分析性能排行榜。
1142 6

热门文章

最新文章