哈喽大家好,现在了解到的官方提供的LatencyMarker机制,不建议在生产上使用,而且也不参与算子内部逻辑,只能粗略估算出延迟,所以关于端到端的延迟监控,大家有什么更好的方案吗?*来自志愿者整理的flink邮件归档
官方的LatencyMarker 表示的是数据的流通性, 他和数据是在同一个pipeline 中顺序处理的,如果你的算子都是同步的情况是可以反应出数据的真实处理延迟,生产上是可以使用的,但是 延迟粒度 metrics.latency.granularity 最好调整成 single或者operator ,防止latency上报太多压垮服务。 但当你的算子是个异步用AsyncWaitOperator实现的话,因为latencyMarker并没有像watermark一样addToWorkQueue,直接处理上报metrics,所以延迟信息就不准确了。 所以自己做端到端延迟的话,可以flink sql source 层 抽取其event time时间往下游发送,insert into sink的时候,写一个udf (currenttime-eventime) 计算其延迟时间,写到外部数据库中,sink最好是influxdb之类的,方便统计。*来自志愿者整理的flink邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。