日志服务数据加工:规则洞察仪表盘-阿里云开发者社区

开发者社区> 成喆> 正文

日志服务数据加工:规则洞察仪表盘

简介: 日志服务加工功能对每个配置的任务,都提供了免费的规则洞察报表与诊断功能,覆盖了总览指标、消费延迟与速率指标、活跃Shard指标、异常详等
+关注继续查看

作者:唐恺

数据加工诊断仪表盘

日志服务加工功能的运行状态可以通过该仪表盘进行查看,入口是加工列表页的“规则洞察”按钮:

image

点击改按钮跳转到仪表盘后,可以分别按照作业名称、实例ID、源LogStore筛选其它任务状态。例如下图是默认查看当前实例ID(90c9d47714dbb807d47c13b819d3e7df)的作业:

image

:预览任务的状态数据不计入本报表。

总览指标

image

  • 读日志数总计:从源LogStore各shard读取到的日志条数总计
  • 投递日志数总计:从源LogStore各shard读取到日志并成功投递到目标LogStore的日志条数总计
  • 失败日志数总计:从源LogStore各shard读取到日志并在加工过程中发生失败的日志条数总计
  • 投递日志数占比:成功投递到目标LogStore的日志条数占源LogStore读取到日志条数的比例

加工速率指标

image

统计每分钟窗口内,数据加工处理的日志条数,包括四条指标:

  • accept:从源LogStore读到的日志条数
  • dropped:从源LogStore读到并按代码预期丢弃的日志条数
  • delivered:从源LogStore读到并成功投递目标LogStore的日志条数
  • failed:从源LogStore各shard读取到日志并在加工过程中发生失败的日志条数

消费延迟与速率指标

image

统计每分钟窗口内,加工任务读取源LogStore时每个Shard指标:

  • 消费延迟:当前时间 - 该Shard最近的已完成日志时间(日志写入日志服务时间,也级Server Arrived Time)
  • 消费速率:Shard在该分钟窗口内每秒钟读取到的日志条数

:处理实时(最新)日志时消费延迟一般是1s左右;如果处理的是历史时间范围的日志数据,在任务开始的阶段消费延迟可能会很高,并随这数据加工的进行,消费进度不断追赶最终达到低延迟水平。

活跃Shard指标

image

展示最近一段时间内发生的,Shard级别每秒处理的日志行数(accept、dropped、delivered、failed)。

异常详情

image

您可以根据reason字段,查看可能导致出错的代码问题。你还可以深入到当前Project下的internal-etl-log LogStore(免费提供使用):

image

通过关键词ERROR或者WARNING查看完整的代码执行错误日志。

如果问题仍无法解决,可以提供该部分信息联系日志服务进行支持。

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器ECS安全组配置规则给宝塔面板修改端口
阿里云服务器ECS安全组配置规则给宝塔面板修改端口
1683 0
Zuul整合Swagger,使用ZuulFilter解决下游服务context-path
问题起因:使用Zuul网关服务,需要整合下游系统的swagger,但是下游服务存在context-path配置,无法正确跳转,最后使用ZuulFilter解决。 1.Zuul整合下游swagger 首先介绍一下Zuul如何整合下游服务swagger,很好理解,就是通过Zuul的swagger地址,实现将下游服务的swagger都放入同一个页面内,流转图如下: 1.
340 0
日志服务数据加工培训直播资料汇总: 扫平日志分析路上障碍, 实时海量日志加工实践
日志服务数据加工系列培训资料汇总: 扫平日志分析路上障碍, 实时海量日志加工实践
1321 0
阿里云服务器添加安全组规则(图文教程)
阿里云服务器添加安全组规则(图文教程)
1707 0
Spring-Aop处理记录日志
AOP的几种通知类型: 1,前置通知(Before advice):在某连接点(JoinPoint)之前执行的通知,但这个通知不能阻止连接点前的执行 配置文件中使用 <aop:before>进行声明 注解使用 @Before 进行声明 2,后置通知(After advice):当某连接点退出的时候执行的通知(不论是正常返回还是异常退出)。
2484 0
鹰眼跟踪、EDAS燎原, 看高性能服务框架EDAS的架构实践
8月30日~31日2016蚂蚁金服&阿里云在线金融技术峰会拉开帷幕,阿里云中间件技术部资深专家沈询带来了“基于阿里企业级分布式应用服务(EDAS)的敏捷服务开发与架构实践”的重要演讲。
15678 0
怎么搭建企业级MySQL数据库服务器?
在CentOS7平台下安装MySQL数据库管理系统工具的方式有很多,我们可以选择简单的二进制数据包安装,也可以选择源码包安装,由于源码安装方式编译的灵活性,这里我们将采用源码安装的方式作为演示案例,源码安装MySQL主要分为安装依赖包、下载MySQL源码包、配置安装环境,编译及安装、初始化数据库五大步骤。
514 0
+关注
成喆
不忘初心 方得始终
101
文章
2
问答
来源圈子
更多
阿里云存储基于飞天盘古2.0分布式存储系统,产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等,充分满足用户数据存储和迁移上云需求,连续三年跻身全球云存储魔力象限四强。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载