开发者社区> 问答> 正文

如何统计数据处理延迟Delay情况

目前想对Flink Job添加一个统计数据处理延迟情况的Metric,目前的想法是拿到数据携带的时间(Event Time)于当前节点的时间(System.getCurrentTime)相减,得出的值即数据延迟处理的时间,但不确定这个想法是否正确且可行,求各位大佬提供思路和想法~*来自志愿者整理的flink邮件归档

展开
收起
毛毛虫雨 2021-12-08 11:05:19 424 0
1 条回答
写回答
取消 提交回答
  • 首先,我的理解这个差值准确描述应该是”延迟摄入时间“,一般说处理时间应该是数据摄入系统到处理完的时间段,也就是(addSource到addSink,这个时间段)。 关于统计延迟数据,你可以看看Side out api 1

    2021-12-08 19:31:34
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
FLINK在大规模实时无效广告流量检测中的应用 立即下载
效率提升:表格存储实时数据流:Stream的技术揭秘和应用场景 立即下载
低代码开发师(初级)实战教程 立即下载