Flink CDC native on k8s ,使用了HA机制,大概发布了几百个任务,这样情况下隔一段时间 会导致k8s的api-server挂掉一次?访问ETCD的时间延迟较大,达到了200ms
目前还没有确切的数据,但根据我们实际的使用经验,Flink CDC native on k8s 可以轻松处理几百个任务。
Flink CDC native on k8s 的 HA 机制是通过 Flink 的 JobManager 高可用机制实现的。JobManager 高可用机制通过在多个节点上运行 JobManager 来实现,当一个 JobManager 节点失败时,另一个 JobManager 节点会接管它的任务并继续执行。
Flink CDC native on k8s 还支持使用 Flink 的 JobManager 自愈机制,当 JobManager 节点发生故障时,Flink 会自动启动新的 JobManager 节点并恢复任务。
Flink CDC native on k8s 的 HA 机制可以确保任务在 JobManager 节点失败时仍然可以继续执行,并保证数据的一致性。
如果您想要了解更多关于 Flink CDC native on k8s 的 HA 机制,你可以参考 Flink CDC native on k8s 的官方文档:https://ci.apache.org/projects/flink/flink-docs-release-1.14/zh/ops/deployment/kubernetes.html#high-availability
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。