请问flink写入kafka 报错。怎么处理? Failed to send data to Kafka: Failed to allocate memory within the configured max blocking time 60000 ms.
参数如下
request.timeout.ms=700000
batch.size=10
linger.ms=50
connections.max.idle.ms=700000
linger.ms=100
max.request.size=1048576
retries=5
timeout.ms=600000
topic查看详情是正常的,在控制台可以生产和消费
这个错误是由于在配置的max blocking time(最大阻塞时间)内无法分配内存导致的。你可以尝试以下方法来解决这个问题:
增加request.timeout.ms
的值。这个参数表示请求超时时间,你可以将其增加到一个更大的值,例如300000毫秒(5分钟)。
减少batch.size
的值。这个参数表示每个批次的大小,你可以将其减小到一个更小的值,例如5或10。
增加connections.max.idle.ms
的值。这个参数表示连接的最大空闲时间,你可以将其增加到一个更大的值,例如1800000毫秒(30分钟)。
调整其他相关参数,如linger.ms
、max.request.size
和retries
等,以找到最佳的参数组合。
修改后的参数如下:
request.timeout.ms=300000
batch.size=5
linger.ms=50
connections.max.idle.ms=1800000
linger.ms=100
max.request.size=1048576
retries=5
timeout.ms=600000
尝试应用这些更改后,重新运行Flink程序,看看是否解决了问题。
如果你在将 Flink 数据写入 Kafka 的过程中出现 “Failed to send data to Kafka: Failed to allocate memory within the configured max blocking time 60000 ms”的错误,可能是由于以下几个原因:
这可能是由于以下几个原因引起的:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。