日志服务数据加工:规则洞察仪表盘

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 日志服务加工功能对每个配置的任务,都提供了免费的规则洞察报表与诊断功能,覆盖了总览指标、消费延迟与速率指标、活跃Shard指标、异常详等

作者:唐恺

数据加工诊断仪表盘

日志服务加工功能的运行状态可以通过该仪表盘进行查看,入口是加工列表页的“规则洞察”按钮:

image

点击改按钮跳转到仪表盘后,可以分别按照作业名称、实例ID、源LogStore筛选其它任务状态。例如下图是默认查看当前实例ID(90c9d47714dbb807d47c13b819d3e7df)的作业:

image

:预览任务的状态数据不计入本报表。

总览指标

image

  • 读日志数总计:从源LogStore各shard读取到的日志条数总计
  • 投递日志数总计:从源LogStore各shard读取到日志并成功投递到目标LogStore的日志条数总计
  • 失败日志数总计:从源LogStore各shard读取到日志并在加工过程中发生失败的日志条数总计
  • 投递日志数占比:成功投递到目标LogStore的日志条数占源LogStore读取到日志条数的比例

加工速率指标

image

统计每分钟窗口内,数据加工处理的日志条数,包括四条指标:

  • accept:从源LogStore读到的日志条数
  • dropped:从源LogStore读到并按代码预期丢弃的日志条数
  • delivered:从源LogStore读到并成功投递目标LogStore的日志条数
  • failed:从源LogStore各shard读取到日志并在加工过程中发生失败的日志条数

消费延迟与速率指标

image

统计每分钟窗口内,加工任务读取源LogStore时每个Shard指标:

  • 消费延迟:当前时间 - 该Shard最近的已完成日志时间(日志写入日志服务时间,也级Server Arrived Time)
  • 消费速率:Shard在该分钟窗口内每秒钟读取到的日志条数

:处理实时(最新)日志时消费延迟一般是1s左右;如果处理的是历史时间范围的日志数据,在任务开始的阶段消费延迟可能会很高,并随这数据加工的进行,消费进度不断追赶最终达到低延迟水平。

活跃Shard指标

image

展示最近一段时间内发生的,Shard级别每秒处理的日志行数(accept、dropped、delivered、failed)。

异常详情

image

您可以根据reason字段,查看可能导致出错的代码问题。你还可以深入到当前Project下的internal-etl-log LogStore(免费提供使用):

image

通过关键词ERROR或者WARNING查看完整的代码执行错误日志。

如果问题仍无法解决,可以提供该部分信息联系日志服务进行支持。

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
28天前
|
数据采集 机器学习/深度学习 存储
使用 Python 清洗日志数据
使用 Python 清洗日志数据
29 2
|
3月前
|
缓存 NoSQL Linux
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
116 1
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
|
2月前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
180 3
|
3月前
|
数据库 Java 监控
Struts 2 日志管理化身神秘魔法师,洞察应用运行乾坤,演绎奇幻篇章!
【8月更文挑战第31天】在软件开发中,了解应用运行状况至关重要。日志管理作为 Struts 2 应用的关键组件,记录着每个动作和决策,如同监控摄像头,帮助我们迅速定位问题、分析性能和使用情况,为优化提供依据。Struts 2 支持多种日志框架(如 Log4j、Logback),便于配置日志级别、格式和输出位置。通过在 Action 类中添加日志记录,我们能在开发过程中获取详细信息,及时发现并解决问题。合理配置日志不仅有助于调试,还能分析用户行为,提升应用性能和稳定性。
50 0
|
3月前
|
开发者 前端开发 编解码
Vaadin解锁移动适配新境界:一招制胜,让你的应用征服所有屏幕!
【8月更文挑战第31天】在移动互联网时代,跨平台应用开发备受青睐。作为一款基于Java的Web应用框架,Vaadin凭借其组件化设计和强大的服务器端渲染能力,助力开发者轻松构建多设备适应的Web应用。本文探讨Vaadin与移动设备的适配策略,包括响应式布局、CSS媒体查询、TouchKit插件及服务器端优化,帮助开发者打造美观且实用的移动端体验。通过这些工具和策略的应用,可有效应对屏幕尺寸、分辨率及操作系统的多样性挑战,满足广大移动用户的使用需求。
54 0
|
3月前
|
存储 运维 监控
Entity Framework Core 实现审计日志记录超棒!多种方法助你跟踪数据变化、监控操作,超实用!
【8月更文挑战第31天】在软件开发中,审计日志记录对于跟踪数据变化、监控用户操作及故障排查至关重要。Entity Framework Core (EF Core) 作为强大的对象关系映射框架,提供了多种实现审计日志记录的方法。例如,可以使用 EF Core 的拦截器在数据库操作前后执行自定义逻辑,记录操作类型、时间和执行用户等信息。此外,也可通过在实体类中添加审计属性(如 `CreatedBy`、`CreatedDate` 等),并在保存实体时更新这些属性来记录审计信息。这两种方法都能有效帮助我们追踪数据变更并满足合规性和安全性需求。
57 0
|
3月前
|
SQL 安全 测试技术
【数据守护者必备】SQL数据备份与恢复策略全解析:从全量到日志备份,手把手教你确保企业信息万无一失的实战技巧!
【8月更文挑战第31天】数据库是企业核心业务数据的基石,为防止硬件故障、软件错误或人为失误导致的数据丢失,制定可靠的备份与恢复策略至关重要。本文通过一个在线购物平台的案例,详细介绍了使用 SQL Server 进行全量备份、差异备份及事务日志备份的方法,并演示了如何利用 SQL Server Agent 实现自动化备份任务。此外,还提供了数据恢复的具体步骤和测试建议,确保数据安全与业务连续性。
128 0
|
24天前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
158 3
|
25天前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1599 14
|
20天前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
20 0

相关产品

  • 日志服务