问题一:Flink可以匹配正则表示可以简写topiclist,不代表可以增删topic吧?
Flink可以匹配正则表示可以简写topiclist,不代表可以增删topic吧?
参考回答:
目前看是这样,只能增,不能减
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573373
问题二:请问一下,flink支持在k8s1.27版本上运行吗?
请问一下,flink支持在k8s1.27版本上运行吗?我在1.27版本上运行报错。但官方说支持1.9以上的所有。
报错如下
参考回答:
Flink确实支持在Kubernetes 1.9及以上版本上运行。然而,具体是否支持1.27版本需要根据Flink的版本和配置进行确定。阿里云Flink不承诺大版本之间的兼容性,因此,建议在运行Flink之前先查看其官方文档或者社区讨论,了解具体的版本兼容性信息。此外,您还需要确保Flink的各个组件(如flink-connect-kafka)的版本与您的应用程序兼容。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571621
问题三:Flink有一个问题,如果有topic被删除了会一直报warning日志,应该对性能也有影响?
Flink有一个问题,就是使用这种正则匹配的时候,如果有topic被删除了会一直报warning日志,应该对性能也有影响
参考回答:
是的,当 Flink 的 Kafka 数据源或数据接收器配置了一个不存在的主题时,它会持续产生 warning 级别的日志。这可能会对性能产生一些影响。
在 Flink 中,当设置了不存在的 Kafka 主题时,Flink 将尝试连接到 Kafka,并不断尝试获取该主题的元数据信息。由于主题不存在,每次尝试都会返回错误,并触发警告日志记录。这个过程会消耗一定的资源和时间,对性能造成一定的影响。
为了避免此问题,您可以采取以下措施:
- 确保 Kafka 主题存在:在配置 Flink 应用程序之前,确保所使用的 Kafka 主题已经正确创建并可用。
- 更新应用程序配置:如果您的 Flink 应用程序配置了不存在的主题,请及时更新配置文件或代码,以使用有效的主题。
- 日志级别调整:您可以考虑将日志级别调整为更高的级别(如 WARN 或 ERROR),以减少对性能的影响。请注意,这样做可能会隐藏其他有用的警告信息,因此请谨慎操作。
- 监控和优化:监控 Flink 的资源使用情况和性能表现,特别关注与 Kafka 连接和数据源相关的指标。根据实际情况进行调整和优化,以提高性能和稳定性。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573371
问题四:Flink问题还是topic分配不均匀,理论上1000个消费线程,是目前不满足这个预期吧?
Flink问题还是topic分配不均匀,理论上1000个消费线程,2000topic,那就是每个消费线程对接2个topic,是目前不满足这个预期吧?
参考回答:
是的,动态topic单分区,满足不了
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573370
问题五:Flink topic数量是变化的吗?
Flink topic数量是变化的吗?
参考回答:
是的,有的会过期自动删除,有的会新创建
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573369