开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC native on k8s ,使用了HA机制,大概发布了几百个任务?

Flink CDC native on k8s ,使用了HA机制,大概发布了几百个任务,这样情况下隔一段时间 会导致k8s的api-server挂掉一次?访问ETCD的时间延迟较大,达到了200ms

展开
收起
真的很搞笑 2023-09-28 12:01:34 120 0
1 条回答
写回答
取消 提交回答
  • 目前还没有确切的数据,但根据我们实际的使用经验,Flink CDC native on k8s 可以轻松处理几百个任务。

    Flink CDC native on k8s 的 HA 机制是通过 Flink 的 JobManager 高可用机制实现的。JobManager 高可用机制通过在多个节点上运行 JobManager 来实现,当一个 JobManager 节点失败时,另一个 JobManager 节点会接管它的任务并继续执行。

    Flink CDC native on k8s 还支持使用 Flink 的 JobManager 自愈机制,当 JobManager 节点发生故障时,Flink 会自动启动新的 JobManager 节点并恢复任务。

    Flink CDC native on k8s 的 HA 机制可以确保任务在 JobManager 节点失败时仍然可以继续执行,并保证数据的一致性。

    如果您想要了解更多关于 Flink CDC native on k8s 的 HA 机制,你可以参考 Flink CDC native on k8s 的官方文档:https://ci.apache.org/projects/flink/flink-docs-release-1.14/zh/ops/deployment/kubernetes.html#high-availability

    2023-10-17 10:06:01
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    ACK 云原生弹性方案—云原生时代的加速器 立即下载
    ACK集群类型选择最佳实践 立即下载
    企业运维之云原生和Kubernetes 实战 立即下载

    相关镜像