开发者社区> 问答> 正文

Flink报错Caused by: java.io.IOException: write be...

已解决

Flink报错Caused by: java.io.IOException: write beyond end of stream

展开
收起
提个问题! 2024-06-01 13:02:13 24 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    ODPS batch tunnel有一个表级别的锁,当多个并发同时commit同一张表时就需要抢这个锁。如果有大量并发抢锁,就有可能导致这个问题。Blink<3.8和VVP中commit ODPS的并发数就是odps sink的并发数,Blink>= 3.8中commit ODPS的并发数就是最后一个节点的并发数。建议降低并发以缓解该问题,Blink建议升级到3.8版。降低sink的并发可能会导致sink写入来不及,从而导致作业延迟。如可以接受failover时产生的重复数据,建议改用streaming tunnel。
    2024-06-01 13:02:14
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Spring Cloud Alibaba - 重新定义 Java Cloud-Native 立即下载
The Reactive Cloud Native Arch 立即下载
JAVA开发手册1.5.0 立即下载