Flink程序长期运行后报错退出 PartitionRequestQueue - Encounter
大家好： Flink应用，如以100笔/s的交易量向kafka写入数据（数据量不大），Flink程序接受并处理数据，涉及到 20个左右的 流表 Join 。和大量的异步操作读取hbase 维表。 运行1-2小时后，Flink应用停止运行并报错，(报错关键堆栈如下，省略部分为flink.shaded.netty部分的堆栈) 观察过内存未溢出，网络负载也不高。 不知道是啥原因，大家能帮忙看下吗？ 主要报错： ERROR org.apache.flink.runtime.io.network.netty.PartitionRequestQueue - Encountered error while consuming partitions java.io.IOException: Connection reset by peer ... ... org.apache.flink.runtime.io.network.netty.PartitionRequestQueue.writeAndFlushNextMessageIfPossible(PartitionRequestQueue.java:264) org.apache.flink.runtime.io.network.netty.PartitionRequestQueue.enqueueAvailableReader(PartitionRequestQueue.java:116) org.apache.flink.runtime.io.network.netty.PartitionRequestQueue.userEnentTriggered(PartitionRequestQueue.java:176) ... ... ... ...*来自志愿者整理的flink邮件归档
写回答
-
你好，"Connection reset by peer" 是网络 TCP 层的异常，见[1] 建议查一下该 task 的下游消费者 task
1. https://stackoverflow.com/questions/1434451/what-does-connection-reset-by-peer-mean*来自志愿者整理的flink
2021-12-07 16:25:26赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
