开发者社区> 问答> 正文

关于端到端的延迟监控,大家有什么更好的方案吗?

哈喽大家好,现在了解到的官方提供的LatencyMarker机制,不建议在生产上使用,而且也不参与算子内部逻辑,只能粗略估算出延迟,所以关于端到端的延迟监控,大家有什么更好的方案吗?*来自志愿者整理的flink邮件归档

展开
收起
JACKJACK 2021-12-08 10:48:01 625 0
1 条回答
写回答
取消 提交回答
  • 对的是我!

    官方的LatencyMarker 表示的是数据的流通性, 他和数据是在同一个pipeline 中顺序处理的,如果你的算子都是同步的情况是可以反应出数据的真实处理延迟,生产上是可以使用的,但是 延迟粒度 metrics.latency.granularity 最好调整成 single或者operator ,防止latency上报太多压垮服务。 但当你的算子是个异步用AsyncWaitOperator实现的话,因为latencyMarker并没有像watermark一样addToWorkQueue,直接处理上报metrics,所以延迟信息就不准确了。 所以自己做端到端延迟的话,可以flink sql source 层 抽取其event time时间往下游发送,insert into sink的时候,写一个udf (currenttime-eventime) 计算其延迟时间,写到外部数据库中,sink最好是influxdb之类的,方便统计。*来自志愿者整理的flink邮件归档

    2021-12-08 16:34:11
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
听云平台业务数据实时处理及性能可视化 立即下载
Instagram Direct 高效可靠的数据端到端传输 立即下载
改善弱网络-探索移动互联网下弱网络处理方式 立即下载