带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (3)

简介: 带你读《Elastic Stack 实战手册》之54:——3.5.13.Transform (3)

《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.13.Transform (2) https://developer.aliyun.com/article/1228176

任务维护

 

任务监控

 

任务在持续执行的过程中监控任务状态是必不可少的,我们可以使用如下 GET 请求获取任务状态。


GET _transform/<transform_id>/_stats?from=0&size=100   #1

其中  可以填1个或多个(逗号分割)任务 ID,也可以使用*模糊查找,同样可以不填或者使用 _all搜索全部任务。请求可以使用fromsize实现分页,from默认是0size默认是100。请求非返回如下:


{
  "count" : 1,     # 结果总数
  "transforms" : [
    {
      "id" : "ecommerce-customer-transform",        # 1
      "state" : "started",                          # 2
      "node" : {                                    # 3
        "id" : "cpTIGMsVQ8Gqwqlxxxxxxx",
        "name" : "my.home",
        "ephemeral_id" : "5-L21nFsQxxxxxxxxxx-xx",
        "transport_address" : "127.0.0.1:9300",
        "attributes" : { }
      },
      "stats" : {                         # 4
        "pages_processed" : 78,
        "documents_processed" : 6027,
        "documents_indexed" : 68,      
        "trigger_count" : 168,
        "index_time_in_ms" : 412,
        "index_total" : 20,
        "index_failures" : 0,
          "search_time_in_ms" : 353,
        "search_total" : 78,
        "search_failures" : 0,
        "processing_time_in_ms" : 8,
        "processing_total" : 78,
        "exponential_avg_checkpoint_duration_ms" : 97.30637923893185,
        "exponential_avg_documents_indexed" : 2.2064915040974062,
        "exponential_avg_documents_processed" : 179.89419945785045
      },
      "checkpointing" : {       #5
        "last" : {
          "checkpoint" : 20,
          "timestamp_millis" : 1585344558220,
          "time_upper_bound_millis" : 1585344498220
        },                  
        "changes_last_detected_at" : 1585344558219  
      }
    }
  ]
}

响应结果首先会用count字段显示匹配的任务总数,然后用transforms数组枚举各个任务,每个任务由以下信息构成:

 

1、id(#1)任务 ID

2、state(#2)任务状态枚举值,可能有以下几种:

l aborting: 异常中止

l failed: 失败,有关失败的更多信息,请检查reason字段。

l indexing: 任务执行中,正在处理数据并创建新文档。

l started: 任务正常运行,但未处理数据。

l stopped: 任务已停止,一次性任务执行完成则会进入该状态

3、stopping: 任务已暂停,一般是周期任务被手动停止

l node(#3):开启transform的节点列表,每个节点有以下信息:

l id:节点的唯一标识符

l ephemeral_id:节点临时 ID

l attributes:节点的属性列表

l name:节点名称

l transport_address:接受传输 HTTP 连接的主机和端口

4、stats(#4):提供有 Transform 任务统计信息的对象,主要有以下信息:

l documents_indexed:(long型) 已写入目标索引的文档数。

l documents_processed:(long型) 源索引已处理的文档数。

l exponential_avg_checkpoint_duration_ms:(double型) 每次任务平均耗时,以毫秒为单位。

l exponential_avg_documents_indexed:(double型) 每次任务平均写入新索引的文档数。

l exponential_avg_documents_processed:(double型) 每次任务平均处理的源索引的文档数。

l index_failures:(long型)插入文档失败的次数。

l index_time_in_ms:(long型)插入文档花费的时间,以毫秒为单位。

l index_total:(long型) 创建的索引数。

l pages_processed:(long型) 搜索或批量插入操作的次数。文档是批量处理的,而不是单独处理的。

l processing_time_in_ms:(long型)处理结果所花费的时间,以毫秒为单位。

l processing_total:(long型)处理操作的数量。

l search_failures:(long型)搜索失败的次数。

l search_time_in_ms:(long型)搜索所花费的时间,以毫秒为单位。

l search_total:(long型)在源索引上执行搜索操作的数。

l trigger_count:(long型)调度程序触发任务的次数。与frequency属性中指定的时间间隔检有关。


5、checkpointing(#5),任务检查点的信息,每次任务执行完且源索引有数据变更时产生检查点。

l changes_last_detected_at:(日期)上次在源索引中检测到更改的时间戳。

l last:(对象),上一个检查点的信息

checkpoint:(整数)检查点的序列号。

time_upper_bound_millis:(date) 使用基于时间的同步时,此时间戳表示检查点中包含的数据的上限。

timestamp_millis:(日期)检查点创建的时间戳。

l next:(对象)包含当前正在进行的下一个检查点的统计信息。此对象仅在转换state为时出现indexing。具体内容比last对象多一个checkpoint_progress属性,包含有关检查点进度的统计信息。该属性仅出现于一次性任务或连续任务的第一个检查点。它含有了total_docsdocs_remainingpercent_completedocs_processed,和docs_indexed

l operations_behind:(整数)已在源索引上发生但尚未应用于目标索引的操作数。该值较高表示任务处理未能跟上。一次性任务一般此值较高。

6、reason,如果任务的状态为failed,则此属性提供有关失败原因的详细信息。

 

任务暂停

 

由于各种原因,有将持续执行的 Transforms 任务临时暂停的需求,请求如下

 

POST _transform//_stop?force=true&timeout=30s&wait_for_completion=true&wait_for_checkpoint=true

 

其中请求路径中  为任务 id,可一次配置多值或用_all暂停全部。请求还接受以下4个请求参数:

 

1、force,可选,布尔值,设置为true停止失败的任务或强制停止未响应初始停止请求的任务。


2、wait_for_completion,可选,布尔值,如果设置为true,则API在得到响应前会阻塞,直到任务完全停止。如false,则 API 立即返回,索引器将在后台异步停止。默认为false


 3、timeout,可选,时间值,如果wait_for_completion=true,API 会在(最多)指定的持续时间内阻塞,同时等待任务停止。如果超过timeout时间,API 将抛出超时异常,但停止请求仍在进行知道任务变为STOPPED状态。超时只是意味着 API 调用本身在等待状态更改时超时。默认为30s


4、wait_for_checkpoint,可选,布尔值,如果设置为true,则在当前正在执行的任务完成之前不会完全停止。如果设置为false,任务会尽快停止。默认为false


《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.13.Transform (4) https://developer.aliyun.com/article/1228170

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。 &nbsp;
相关文章
这一招,让ppt、word中的字体到别的电脑上也不变样儿!
今天,不坑老师就教大家一招儿,让你的PPT、Word、Excel文档里面花里糊哨的字体、样式在别人电脑中也能正常展示。
1416 0
|
7月前
|
存储 人工智能 运维
真实案例复盘:从“三套烟囱”到 All in ES,这家企业如何砍掉 40%运维成本
某泛娱乐平台面临搜索架构复杂、成本高企难题,通过阿里云Elasticsearch实现日志、搜索、向量一体化重构。借助Serverless化与混合存储,成本降60%,运维统一,查询效率倍增,验证了“All in ES”极简架构在AI时代的高效与可扩展性。
445 1
|
11月前
|
机器学习/深度学习 人工智能 算法
大型语言模型为何产生幻觉
语言模型为何会产生幻觉?OpenAI 最新研究指出,幻觉源于模型在训练和评估中被鼓励猜测而非承认“不知道”。即使强大如 GPT-5,也无法完全避免幻觉。改进评估方式、奖励模型表达不确定性,是减少幻觉的关键。
674 10
|
机器学习/深度学习 人工智能
Leffa:Meta AI 开源精确控制人物外观和姿势的图像生成框架,在生成穿着的同时保持人物特征
Leffa 是 Meta 开源的图像生成框架,通过引入流场学习在注意力机制中精确控制人物的外观和姿势。该框架不增加额外参数和推理成本,适用于多种扩散模型,展现了良好的模型无关性和泛化能力。
1073 11
Leffa:Meta AI 开源精确控制人物外观和姿势的图像生成框架,在生成穿着的同时保持人物特征
|
SQL DataWorks 关系型数据库
阿里云 DataWorks 正式支持 SelectDB & Apache Doris 数据源,实现 MySQL 整库实时同步
阿里云数据库 SelectDB 版是阿里云与飞轮科技联合基于 Apache Doris 内核打造的现代化数据仓库,支持大规模实时数据上的极速查询分析。通过实时、统一、弹性、开放的核心能力,能够为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 具备世界领先的实时分析能力,能够实现秒级的数据实时导入与同步,在宽表、复杂多表关联、高并发点查等不同场景下,提供超越一众国际知名的同类产品的优秀性能,多次登顶 ClickBench 全球数据库分析性能排行榜。
931 6
Postman 自定义变量使用详解
Postman是一款强大的API测试工具,支持全局、环境、集合和本地四种变量类型,方便不同场景的测试需求。定义变量涉及全局(在“Manage Environments”&gt;“Globals”),环境(创建新环境并添加),集合(编辑集合&gt;“Variables”),以及脚本内定义的本地变量。使用变量时以`{{variableName}}`格式插入,通过`pm.variables.get()`在脚本中获取。变量优先级:本地&gt;数据&gt;环境&gt;集合&gt;全局,可在Pre-request或Tests脚本中动态设置。掌握变量使用能提升测试效率。
|
机器学习/深度学习 数据采集 人工智能
ERP系统中的人工智能与机器学习应用:提升企业智能化管理
【7月更文挑战第29天】 ERP系统中的人工智能与机器学习应用:提升企业智能化管理
2283 0
|
存储 SQL 人工智能
4 PostgreSQL 索引,全文检索,模糊匹配,近似度匹配(三)
4 PostgreSQL 索引,全文检索,模糊匹配,近似度匹配(三)
4 PostgreSQL 索引,全文检索,模糊匹配,近似度匹配(三)
|
SQL 关系型数据库 MySQL
Maxwell - 增量数据同步工具(1)
Maxwell - 增量数据同步工具

热门文章

最新文章