开发者社区 问答 正文

我可以把retraction流 (例如SELECT DISTINCT ...的结果),用regiterDataStream()注册为表吗?我试了报以上错误。

转自钉钉群21789141:我可以把retraction流 (例如SELECT DISTINCT ...的结果),用regiterDataStream()注册为表吗?我试了报以上错误。

展开
收起
赵慧@ApacheFlink中文社区 2018-10-18 13:58:01 1779 分享 版权
1 条回答
写回答
取消 提交回答
  • 现在用flink-1.5.3 on yarn的模式, 用的是long term yarn session的方式启动, 在上面会跑flink batch job和flink streaming job。 每次yarn session重启的时候,它都会去执行revover all jobs, 所有曾经执行过的job graph都在zookeeper上存着,然后会去找已经finish或fail的batch job,但是在HDFS的blob的目录下是没有这些finish或fail的job的信息的。所以每次重启yarn session的时候,就会报这个错。 我现在用的workaround的方法是,我每次重启的时候,我都去zookeeper上面把所有finish或fail的job信息删掉,那么在此启动的时候,就可以了。
    ![Uploading image . . .]()

    2019-07-17 23:09:16
    赞同 展开评论
问答地址: