日志服务数据加工:规则洞察仪表盘

本文涉及的产品
对象存储 OSS,20GB 3个月
云备份 Cloud Backup,100GB 3个月
文件存储 NAS,50GB 3个月
简介: 日志服务加工功能对每个配置的任务,都提供了免费的规则洞察报表与诊断功能,覆盖了总览指标、消费延迟与速率指标、活跃Shard指标、异常详等

作者:唐恺

数据加工诊断仪表盘

日志服务加工功能的运行状态可以通过该仪表盘进行查看,入口是加工列表页的“规则洞察”按钮:

image

点击改按钮跳转到仪表盘后,可以分别按照作业名称、实例ID、源LogStore筛选其它任务状态。例如下图是默认查看当前实例ID(90c9d47714dbb807d47c13b819d3e7df)的作业:

image

:预览任务的状态数据不计入本报表。

总览指标

image

  • 读日志数总计:从源LogStore各shard读取到的日志条数总计
  • 投递日志数总计:从源LogStore各shard读取到日志并成功投递到目标LogStore的日志条数总计
  • 失败日志数总计:从源LogStore各shard读取到日志并在加工过程中发生失败的日志条数总计
  • 投递日志数占比:成功投递到目标LogStore的日志条数占源LogStore读取到日志条数的比例

加工速率指标

image

统计每分钟窗口内,数据加工处理的日志条数,包括四条指标:

  • accept:从源LogStore读到的日志条数
  • dropped:从源LogStore读到并按代码预期丢弃的日志条数
  • delivered:从源LogStore读到并成功投递目标LogStore的日志条数
  • failed:从源LogStore各shard读取到日志并在加工过程中发生失败的日志条数

消费延迟与速率指标

image

统计每分钟窗口内,加工任务读取源LogStore时每个Shard指标:

  • 消费延迟:当前时间 - 该Shard最近的已完成日志时间(日志写入日志服务时间,也级Server Arrived Time)
  • 消费速率:Shard在该分钟窗口内每秒钟读取到的日志条数

:处理实时(最新)日志时消费延迟一般是1s左右;如果处理的是历史时间范围的日志数据,在任务开始的阶段消费延迟可能会很高,并随这数据加工的进行,消费进度不断追赶最终达到低延迟水平。

活跃Shard指标

image

展示最近一段时间内发生的,Shard级别每秒处理的日志行数(accept、dropped、delivered、failed)。

异常详情

image

您可以根据reason字段,查看可能导致出错的代码问题。你还可以深入到当前Project下的internal-etl-log LogStore(免费提供使用):

image

通过关键词ERROR或者WARNING查看完整的代码执行错误日志。

如果问题仍无法解决,可以提供该部分信息联系日志服务进行支持。

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

相关实践学习
日志服务之数据清洗与入湖
本教程介绍如何使用日志服务接入NGINX模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储。
目录
相关文章
|
22天前
|
存储 数据采集 JavaScript
深入理解数仓开发(一)数据技术篇之日志采集
深入理解数仓开发(一)数据技术篇之日志采集
|
2月前
|
监控 NoSQL MongoDB
mongoDB查看数据的插入日志
【5月更文挑战第9天】mongoDB查看数据的插入日志
323 4
|
2月前
|
存储 监控 数据可视化
无需重新学习,使用 Kibana 查询/可视化 SLS 数据
本文演示了使用 Kibana 连接 SLS ES 兼容接口进行查询和分析的方法。
66648 11
|
2月前
|
监控 NoSQL MongoDB
mongoDB查看数据的插入日志
【5月更文挑战第2天】mongoDB查看数据的插入日志
338 0
|
2月前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用合集之从Oracle数据库同步数据时,checkpoint恢复后无法捕获到任务暂停期间的变更日志,如何处理
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4天前
|
监控 数据库
neo4j数据插入操作有日志吗
【6月更文挑战第29天】neo4j数据插入操作有日志吗
15 1
|
2月前
|
监控 NoSQL MongoDB
mongoDB查看数据的插入日志
【5月更文挑战第22天】mongoDB查看数据的插入日志
32 3
|
28天前
|
Shell Linux
linux shell 脚本实现:根据文件内容中的每行分隔符放入数组,根据规则打印日志并重新创建目录 备份文件
linux shell 脚本实现:根据文件内容中的每行分隔符放入数组,根据规则打印日志并重新创建目录 备份文件
22 0
|
2月前
|
SQL 关系型数据库 数据库
实时计算 Flink版产品使用合集之同步PostgreSQL数据时,WAL 日志无限增长,是什么导致的
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2月前
|
Oracle 关系型数据库 MySQL
实时计算 Flink版产品使用合集之是否支持从库归档日志捕获数据
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

相关产品

  • 日志服务