开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

为什么flink提交任务的时间与ui界面显示的时间不同

屏幕截图 2023-12-06 105407.png

展开
收起
游客775weeyginz76 2023-12-06 10:57:37 74 0
3 条回答
写回答
取消 提交回答
  • 因为节点时间不同步

    2023-12-07 10:26:51
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink提交任务的时间与UI界面显示的时间不同可能是由于以下几个原因:

    1. Flink的watermarks追不上实时时间,导致不能实时处理。这可能会影响到任务的开始时间和结束时间,从而使得UI界面上显示的时间与实际提交任务的时间不同。
    2. Flink提交任务的方式有两种。第一种是使用自带的UI页面进行提交,但这种方式的资源分配是按照task节点为单位运行并度的,可能会导致任务的开始和结束时间与UI界面上显示的时间不一致。
    3. 任务执行完成后,JobManager会将任务的执行结果返回给客户端。客户端可以通过Flink的REST API或Web UI等方式查看任务的状态和结果。如果网络延迟或其他因素导致数据传输延迟,这也可能导致UI界面上显示的时间与实际提交任务的时间不同。
    2023-12-06 12:56:28
    赞同 展开评论 打赏
  • 网站:http://ixiancheng.cn/ 微信订阅号:小马哥学JAVA

    由于时区不一致导致的;
    Flink在使用时间的这个概念的时候就是基于时间纪元这个概念的。比如首先,我们的时区是东八区,在我们的视野中UTC-0时间应该加8小时的offset,才是我们看到的时间,所以在使用flink的窗口的时候往往比我们当前的时间少8小时。

    还有flink的窗口对其,也是基于纪元时间的。5min滚动窗口,.30min滚动窗口,1hour滚动窗口。时间上差了八小时,但是对齐是基于时间纪元的整数单位。

    使用flink输出的时差目前没办法,flink不支持配置时区,但是blink支持,等待着合并吧。

    时区问题解决方案比较多:flink端不做处理。在读取数据的时候加上8小时的offset。 使用udf等算子给时间戳加上8小时的offset。 sink内部做处理。;

    2023-12-06 12:10:23
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载