问题一:Flinkk写入kafka报错,怎么处理?
Flinkk写入kafka报错,怎么处理? Failed to send data to Kafka: Failed to allocate memory within the configured max blocking time 60000 ms.
参数如下
request.timeout.ms=700000
batch.size=10
linger.ms=50
connections.max.idle.ms=700000
linger.ms=100
max.request.size=1048576
retries=5
timeout.ms=600000
topic查看详情是正常的,在控制台可以生产和消费
参考回答:
针对 Flink 写入 Kafka 时报错的问题,建议您按照如下建议排查:
- 请求超时参数
request.timeout.ms
限制了 Flink 向 Kafka 写入消息的时间。如果请求超时,则 Flink 会停止发送消息并抛出异常。请您适当延长该参数值,以降低数据丢失的风险; - 若出现内存分配失败,请确保 Kafka 客户端有足够的内存来保存消息;
- 在生产者配置中设置适当的
batch.size
参数,确保数据批量大小适中; - 尝试调整
connections.max.idle.ms
参数,防止客户端断开连接导致消息延迟; - 运行期间监控 Kafka 生产者的统计信息,并及时发现问题。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566109
问题二:FLink 1.13版本升级Flink 1.17 报错 ,怎么处理?
FLink 1.13版本升级Flink 1.17 报错 ,怎么处理?RpcLoaderException: could not load RpcSystem
和这个问题差不多 https://www.saoniuhuo.com/question/detail-2743444.html
flink-rpc-core
flink-streaming-java
flink-clients
这些包 以及其他包多有引入 本地运行报错这个RpcLoaderException: could not load RpcSystem
参考回答:
确包
org.apache.flink
flink-rpc-akka
1.17.1
org.apache.flink
flink-rpc-akka-loader
1.17.1
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566108
问题三:在Flink中checkpoint产生的文件名太长报错,各位大佬有遇到的吗?
代码实现mongo数据整库写hudi,采用RocksDBStateBackend状态后端,在Flink中checkpoint产生的文件名太长报错,各位大佬有遇到的吗?
参考回答:
调整一下rocksdbjni包的版本
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566107
问题四:flink源码编译的时候报错如下,有哪位老师遇到吗?怎么解决 ?
flink源码编译的时候报错如下,有哪位老师遇到吗?怎么解决
参考回答:
如果用的是jdk8的话,可以试下用版本高一点的jdk。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566100
问题五:flink on k8s这么添加依赖到基础镜像中运行的时候报这个错的啊?
flink on k8s这么添加依赖到基础镜像中运行的时候报这个错的啊?
参考回答:
如果jar包有的话,确认下jar包权限
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566094