Flink sqlgateway 偶发性执行任务报错Stream closed web界面显示任务取消 请问下需要修改啥配置
这个问题可能是由于 SQL Gateway 的连接被关闭导致的。为了解决这个问题,您可以尝试以下几种方法:
增加 SQL Gateway 的连接超时时间:可以在 SQL Gateway 的配置文件中增加以下配置:
gateway.server.idle.timeout.ms: 600000
这个配置可以将 SQL Gateway 的连接超时时间设置为 10 分钟,从而避免连接被过早关闭。
增加 Flink 任务的执行超时时间:可以在 Flink 的配置文件中增加以下配置:
execution.timeout.seconds: 3600
这个配置可以将 Flink 任务的执行超时时间设置为 1 小时,从而避免任务执行时间过长导致连接被关闭。
增加系统的文件句柄限制:如果系统中同时打开的文件句柄数量超过了系统限制,也可能导致类似的问题。可以通过修改系统配置文件(例如 /etc/security/limits.conf
)来增加系统的文件句柄限制。
增加任务资源配置,如增加任务的 CPU 和内存等资源配置。
确认任务逻辑是否存在问题,例如处理数据时是否存在死循环等情况。
调整任务并发度,减小并发度,避免资源竞争。
检查 Flink 官方文档,查看当前版本的限制和最佳实践,尝试按照官方推荐的方式进行配置。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。