开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

实时采集 48小时没有数据来就报错 , 你们有遇到过吗?

实时采集 48小时没有数据来就报错 , 你们有遇到过吗?

展开
收起
wenti 2023-03-15 10:43:11 172 0
1 条回答
写回答
取消 提交回答
  • 随心分享,欢迎友善交流讨论:)

    如果Flink实时采集在48小时没有数据来就报错,可能有以下几种原因:

    数据源出现异常或停止发送数据。如果数据源停止发送数据,Flink就会一直等待数据,并最终超时导致报错。在这种情况下,需要检查数据源是否正常工作,并确保数据源能够稳定地发送数据。

    Flink作业出现计算异常。如果Flink作业中的计算逻辑出现异常,也会导致Flink等待数据时间过长,最终超时并报错。在这种情况下,需要检查Flink作业的代码和计算逻辑是否存在问题,并进行调试和修复。

    针对以上情况,我们可以采取以下措施:

    对数据源进行监控,确保数据源能够稳定地发送数据,并及时发现和处理数据源异常情况。

    在Flink作业中加入超时机制,避免长时间等待数据导致超时报错,可以通过设置Flink的checkpoint机制来实现。

    定期检查Flink作业的计算逻辑,以确保作业能够稳定地处理数据,并及时发现和处理计算异常情况。

    对于长时间没有数据来的情况,可以设置告警机制,及时发现并处理问题。

    总的来说,针对Flink实时采集48小时没有数据来就报错的问题,需要从数据源、Flink作业和告警机制等多个方面进行考虑和处理,以确保作业能够稳定地运行和处理数据。

    2023-03-16 11:34:21
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载