备案控制台
开发者社区 云原生 文章 正文

Flink 基于K8S HA 存在的问题

2023-06-12 145
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，5000CU*H 3个月
推荐场景：
实时发现最热Github项目
简介： Flink 基于K8S HA 存在的问题

背景


本文基于Flink 1.13.x


Flink on K8S


在基于原生K8S做JobManager HA服务的前提下，随着部署在K8S的flink任务越来越多，JobManager节点挂的频率越来越高，这严重影响了整个Flink作业的运行。


分析


对于目前的flink的架构，画出如下的图，该图也是参考了官方

e4a714aed94b49d7affea39a9b2853a8.png其实最主要的原因是flink集群对etcd的访问过于频繁(etcd是K8S的最为关键的组件),导致了整个K8S集群的不稳定。

文章标签：
容器服务Kubernetes版
实时计算 Flink版
容器
流计算
Kubernetes
关键词：
容器服务Kubernetes版 flink
实时计算 Flink版 k8s
实时计算 Flink版ha
实时计算 Flink版k8s ha
实时计算 Flink版k8s存在
相关实践学习
容器服务Serverless版ACK Serverless 快速入门：在线魔方应用部署和监控
通过本实验，您将了解到容器服务Serverless版ACK Serverless 的基本产品能力，即可以实现快速部署一个在线魔方应用，并借助阿里云容器服务成熟的产品生态，实现在线应用的企业级监控，提升应用稳定性。
云原生实践公开课
课程大纲 开篇：如何学习并实践云原生技术 基础篇： 5 步上手 Kubernetes 进阶篇：生产环境下的 K8s 实践 相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
6hkip34i2a7n6
目录
相关文章
sunrr
|
4月前
|
Kubernetes 流计算 容器
在Rancher K8s上部署Flink时，TaskManager连接不上并不断重启可能是由多种原因导致的。
在Rancher K8s上部署Flink时，TaskManager连接不上并不断重启可能是由多种原因导致的。【1月更文挑战第22天】【1月更文挑战第106篇】
sunrr
64 1
vohelon
|
4月前
|
关系型数据库 Linux PostgreSQL
这个错误是因为Flink CDC在尝试访问PostgreSQL的"decoderbufs"文件时，发现该文件不存在
【1月更文挑战第23天】【1月更文挑战第111篇】这个错误是因为Flink CDC在尝试访问PostgreSQL的"decoderbufs"文件时，发现该文件不存在
vohelon
47 11
sunrr
|
2月前
|
Kubernetes 流计算 Perl
在Rancher K8s上部署Flink时，TaskManager连接不上并不断重启可能是由多种原因导致的
在Rancher K8s上部署Flink时，TaskManager连接不上并不断重启可能是由多种原因导致的
sunrr
42 7
sunrr
|
2月前
|
存储 数据库 流计算
Flink CDC 3.0 对于字符串类型的切片键（sharding key）确实存在一些问题
【2月更文挑战第29天】Flink CDC 3.0 对于字符串类型的切片键（sharding key）确实存在一些问题
sunrr
18 5
sunrr
|
2月前
|
Kubernetes 网络协议 Java
在Kubernetes上运行Flink应用程序时
【2月更文挑战第27天】在Kubernetes上运行Flink应用程序时
sunrr
38 10
游客da75kn2vxhl3k
|
3月前
|
Oracle 关系型数据库 数据库
Flink Sink to Oracle 存在字段CLOB类型，如何处理错误”ORA-01461: 仅能绑定要插入LONG的LONG值“
做Flink CDC同步数据过程中，目标是Oracle数据库，其中某个字段较大被设置为CLOB类型，其中会遇到异常，”ORA-01461: 仅能绑定要插入LONG的LONG值“
游客da75kn2vxhl3k
111 0
cuicuicuic
|
3月前
|
SQL 消息中间件 Kubernetes
flink问题之on kubernetes 构建失败如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
cuicuicuic
53 1
三分钟热度的鱼
|
3月前
|
SQL Kubernetes Java
Flink构建问题之flink 1.11 on kubernetes构建失败如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
三分钟热度的鱼
38 1
cuicuicuic
|
3月前
|
Kubernetes Java Apache
Flink问题之托管Kubernetes报错如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
cuicuicuic
28 1
vohelon
|
4月前
|
Kubernetes 流计算 Docker
要将Flink CDC 3.0部署到Kubernetes上
【1月更文挑战第24天】【1月更文挑战第119篇】要将Flink CDC 3.0部署到Kubernetes上
vohelon
88 2

热门文章

最新文章

  • 1
    Flink常见面试问题(附答案)
  • 2
    【Flink】Flink中的窗口分析
  • 3
    【Flink】Flink的三种时间语义
  • 4
    【Flink】Flink集群有哪些角色？各自有什么作用？
  • 5
    【Flink】Flink跟Spark Streaming的区别？
  • 6
    【Flink】Flink的CEP机制
  • 7
    Flink实时流处理框架原理与应用：面试经验与必备知识点解析
  • 8
    【Flink】怎么提交的实时任务，有多少Job Manager？
  • 9
    flink最新master代码编译出现Java Runtime Environment 问题
  • 10
    面经：Storm实时计算框架原理与应用场景
  • 1
    如何通过计算巢在ACK集群上使用Istio服务网格
    35
  • 2
    Docker容器管理
    35
  • 3
    云原生K8S场景自动化响应ECS系统事件
    123
  • 4
    云计算中的容器化技术：Docker与Kubernetes的实践
    167
  • 5
    934.【kubernetes】kubeadm版本更新证书
    67
  • 6
    TCP 中的 Delay ACK 和 Nagle 算法
    36
  • 7
    K8S基于NFS来动态创建PV【亲测可用】
    85
  • 8
    深入浅出：使用Docker容器化部署Python Web应用
    103
  • 9
    深入探讨 Prometheus 在 Kubernetes 上的部署和实战操作
    237
  • 10
    K8S客户端二 使用Rancher部署服务
    99

    • 相关课程

    更多
  • 实时计算 Flink 版产品入门与实操
  • 开源 Flink 极速上手教程
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Flink CDC Meetup PPT - 覃立辉
  • Flink CDC Meetup PPT - 孙家宝
  • Flink CDC Meetup PPT - 徐榜江

    • 相关实验场景

    更多
  • ACK集群应用部署进阶
  • 容器服务Serverless版ACK Serverless 快速入门：在线魔方应用部署和监控
  • 使用Kubectl部署web服务到K8s集群
  • 通过Helm CLI部署wordpress到ACK集群
  • 基于MSE实现K8s集群内多服务的灰度发布

    • 推荐镜像

    更多
  • kubernetes
  • pouch
  • grafana
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）