实时采集 48小时没有数据来就报错 , 你们有遇到过吗?

实时采集 48小时没有数据来就报错 , 你们有遇到过吗?

展开
收起
wenti 2023-03-15 10:43:11 188 分享 版权
1 条回答
写回答
取消 提交回答
  • 随心分享,欢迎友善交流讨论:)

    如果Flink实时采集在48小时没有数据来就报错,可能有以下几种原因:

    数据源出现异常或停止发送数据。如果数据源停止发送数据,Flink就会一直等待数据,并最终超时导致报错。在这种情况下,需要检查数据源是否正常工作,并确保数据源能够稳定地发送数据。

    Flink作业出现计算异常。如果Flink作业中的计算逻辑出现异常,也会导致Flink等待数据时间过长,最终超时并报错。在这种情况下,需要检查Flink作业的代码和计算逻辑是否存在问题,并进行调试和修复。

    针对以上情况,我们可以采取以下措施:

    对数据源进行监控,确保数据源能够稳定地发送数据,并及时发现和处理数据源异常情况。

    在Flink作业中加入超时机制,避免长时间等待数据导致超时报错,可以通过设置Flink的checkpoint机制来实现。

    定期检查Flink作业的计算逻辑,以确保作业能够稳定地处理数据,并及时发现和处理计算异常情况。

    对于长时间没有数据来的情况,可以设置告警机制,及时发现并处理问题。

    总的来说,针对Flink实时采集48小时没有数据来就报错的问题,需要从数据源、Flink作业和告警机制等多个方面进行考虑和处理,以确保作业能够稳定地运行和处理数据。

    2023-03-16 11:34:21
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理