AI 助理
备案控制台
开发者社区 云原生 文章 正文

Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排

2024-10-12 132
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，5000CU*H 3个月
推荐场景：
实时发现最热Github项目
简介： Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排

代码仓库

会同步代码到 GitHub

https://github.com/turbo-duck/flink-demo

背景介绍

单机模式

在之前的章节中，已经验证过，但是实际运行的时候，我们是需要提交到服务器去运行的。


集群模式

在之前章节中，已经验证过，(方便测试) 使用了 Docker 的方式进行部署。同时也利用容器编排工具docker-compose的方式，进行集群的模式部署：


简单测试 1 x JobManager + 1 x TaskManager

集群模式 1 x JobManager + 3 x TaskManager

HA模式 2 x JobManager + Zookeeper + 3 x TaskManager

但是对于上述的 docker-compose 编排的方式，我们依然是在一台机器上的。对于实际的生产情况，我们可能需要面对多台机器进行部署，同时最好的方案是：动态扩容、动态缩容，最大程度的利用资源。


云原生部署

首先确保你有 Kubernetes

然后为了简化 这里借助 Rancher 可视化进行操作

等熟悉了，你可以使用 yaml尝试部署。

最后，生产环境可借助 Helm + Flink Operator 极大简化过程。

JobManager

需要开放的端口如下：

完整的Yaml 如下:

apiVersion: apps/v1
kind: StatefulSet
metadata:
  annotations:
    field.cattle.io/creatorId: u-s4mkr
    field.cattle.io/publicEndpoints: '[{"addresses":["10.10.52.11"],"port":31120,"protocol":"TCP","serviceName":"flink-server:jobmanager-nodeport","allNodes":true},{"addresses":["10.10.52.11"],"port":30985,"protocol":"TCP","serviceName":"flink-server:jobmanager-nodeport","allNodes":true},{"addresses":["10.10.52.11"],"port":30166,"protocol":"TCP","serviceName":"flink-server:jobmanager-nodeport","allNodes":true}]'
  creationTimestamp: "2023-06-08T08:49:14Z"
  generation: 21
  labels:
    cattle.io/creator: norman
    workload.user.cattle.io/workloadselector: statefulSet-flink-server-jobmanager
  managedFields:
  - apiVersion: apps/v1
    fieldsType: FieldsV1
    fieldsV1:
      f:metadata:
        f:annotations:
          .: {}
          f:field.cattle.io/creatorId: {}
          f:field.cattle.io/publicEndpoints: {}
        f:labels:
          .: {}
          f:cattle.io/creator: {}
          f:workload.user.cattle.io/workloadselector: {}
      f:spec:
        f:podManagementPolicy: {}
        f:replicas: {}
        f:revisionHistoryLimit: {}
        f:selector: {}
        f:serviceName: {}
        f:template:
          f:metadata:
            f:annotations:
              .: {}
              f:cattle.io/timestamp: {}
              f:field.cattle.io/ports: {}
            f:labels:
              .: {}
              f:workload.user.cattle.io/workloadselector: {}
          f:spec:
            f:containers:
              k:{"name":"jobmanager"}:
                .: {}
                f:args: {}
                f:env:
                  .: {}
                  k:{"name":"JOB_MANAGER_RPC_ADDRESS"}:
                    .: {}
                    f:name: {}
                    f:value: {}
                f:image: {}
                f:imagePullPolicy: {}
                f:name: {}
                f:ports:
                  .: {}
                  k:{"containerPort":6123,"protocol":"TCP"}:
                    .: {}
                    f:containerPort: {}
                    f:name: {}
                    f:protocol: {}
                  k:{"containerPort":6124,"protocol":"TCP"}:
                    .: {}
                    f:containerPort: {}
                    f:name: {}
                    f:protocol: {}
                  k:{"containerPort":8081,"protocol":"TCP"}:
                    .: {}
                    f:containerPort: {}
                    f:name: {}
                    f:protocol: {}
                f:resources: {}
                f:securityContext:
                  .: {}
                  f:allowPrivilegeEscalation: {}
                  f:capabilities: {}
                  f:privileged: {}
                  f:readOnlyRootFilesystem: {}
                  f:runAsNonRoot: {}
                f:stdin: {}
                f:terminationMessagePath: {}
                f:terminationMessagePolicy: {}
                f:tty: {}
            f:dnsConfig: {}
            f:dnsPolicy: {}
            f:restartPolicy: {}
            f:schedulerName: {}
            f:securityContext: {}
            f:terminationGracePeriodSeconds: {}
        f:updateStrategy:
          f:type: {}
    manager: rancher
    operation: Update
    time: "2023-06-08T11:20:03Z"
  - apiVersion: apps/v1
    fieldsType: FieldsV1
    fieldsV1:
      f:status:
        f:collisionCount: {}
        f:currentReplicas: {}
        f:currentRevision: {}
        f:observedGeneration: {}
        f:readyReplicas: {}
        f:replicas: {}
        f:updateRevision: {}
        f:updatedReplicas: {}
    manager: kube-controller-manager
    operation: Update
    time: "2024-06-27T01:24:45Z"
  name: jobmanager
  namespace: flink-server
  resourceVersion: "126393476"
  uid: 461079aa-69f6-423e-85b7-36fdc5c513e7
spec:
  podManagementPolicy: OrderedReady
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      workload.user.cattle.io/workloadselector: statefulSet-flink-server-jobmanager
  serviceName: jobmanager
  template:
    metadata:
      annotations:
        cattle.io/timestamp: "2023-06-08T11:18:06Z"
        field.cattle.io/ports: '[[{"containerPort":8081,"dnsName":"jobmanager-nodeport","hostPort":0,"kind":"NodePort","name":"jm81","protocol":"TCP","sourcePort":31120},{"containerPort":6123,"dnsName":"jobmanager-nodeport","hostPort":0,"kind":"NodePort","name":"jm23","protocol":"TCP"},{"containerPort":6124,"dnsName":"jobmanager-nodeport","hostPort":0,"kind":"NodePort","name":"jm24","protocol":"TCP"}]]'
      creationTimestamp: null
      labels:
        workload.user.cattle.io/workloadselector: statefulSet-flink-server-jobmanager
    spec:
      containers:
      - args:
        - jobmanager
        env:
        - name: JOB_MANAGER_RPC_ADDRESS
          value: jobmanager
        image: 10.10.52.8/flink/flink
        imagePullPolicy: Always
        name: jobmanager
        ports:
        - containerPort: 8081
          name: jm81
          protocol: TCP
        - containerPort: 6123
          name: jm23
          protocol: TCP
        - containerPort: 6124
          name: jm24
          protocol: TCP
        resources: {}
        securityContext:
          allowPrivilegeEscalation: false
          capabilities: {}
          privileged: false
          readOnlyRootFilesystem: false
          runAsNonRoot: false
        stdin: true
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
        tty: true
      dnsConfig: {}
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30
  updateStrategy:
    type: RollingUpdate
status:
  collisionCount: 0
  currentReplicas: 1
  currentRevision: jobmanager-6ddbf8767b
  observedGeneration: 21
  readyReplicas: 1
  replicas: 1
  updateRevision: jobmanager-6ddbf8767b
  updatedReplicas: 1

TaskManager

需要开放的端口如下：

完整Yaml 如下：

apiVersion: apps/v1
kind: StatefulSet
metadata:
  annotations:
    field.cattle.io/creatorId: u-s4mkr
    field.cattle.io/publicEndpoints: '[{"addresses":["10.10.52.11"],"port":31538,"protocol":"TCP","serviceName":"flink-server:taskmanager-nodeport","allNodes":true},{"addresses":["10.10.52.11"],"port":30067,"protocol":"TCP","serviceName":"flink-server:taskmanager-nodeport","allNodes":true}]'
  creationTimestamp: "2023-06-08T08:49:30Z"
  generation: 10
  labels:
    cattle.io/creator: norman
    workload.user.cattle.io/workloadselector: statefulSet-flink-server-taskmanager
  managedFields:
  - apiVersion: apps/v1
    fieldsType: FieldsV1
    fieldsV1:
      f:metadata:
        f:annotations:
          .: {}
          f:field.cattle.io/creatorId: {}
          f:field.cattle.io/publicEndpoints: {}
        f:labels:
          .: {}
          f:cattle.io/creator: {}
          f:workload.user.cattle.io/workloadselector: {}
      f:spec:
        f:podManagementPolicy: {}
        f:replicas: {}
        f:revisionHistoryLimit: {}
        f:selector: {}
        f:serviceName: {}
        f:template:
          f:metadata:
            f:annotations:
              .: {}
              f:cattle.io/timestamp: {}
              f:field.cattle.io/ports: {}
              f:field.cattle.io/publicEndpoints: {}
            f:labels:
              .: {}
              f:workload.user.cattle.io/workloadselector: {}
          f:spec:
            f:containers:
              k:{"name":"taskmanager"}:
                .: {}
                f:args: {}
                f:env:
                  .: {}
                  k:{"name":"JOB_MANAGER_RPC_ADDRESS"}:
                    .: {}
                    f:name: {}
                    f:value: {}
                f:image: {}
                f:imagePullPolicy: {}
                f:name: {}
                f:ports:
                  .: {}
                  k:{"containerPort":6121,"protocol":"TCP"}:
                    .: {}
                    f:containerPort: {}
                    f:name: {}
                    f:protocol: {}
                  k:{"containerPort":6122,"protocol":"TCP"}:
                    .: {}
                    f:containerPort: {}
                    f:name: {}
                    f:protocol: {}
                f:resources: {}
                f:securityContext:
                  .: {}
                  f:allowPrivilegeEscalation: {}
                  f:privileged: {}
                  f:readOnlyRootFilesystem: {}
                  f:runAsNonRoot: {}
                f:stdin: {}
                f:terminationMessagePath: {}
                f:terminationMessagePolicy: {}
                f:tty: {}
            f:dnsPolicy: {}
            f:restartPolicy: {}
            f:schedulerName: {}
            f:securityContext: {}
            f:terminationGracePeriodSeconds: {}
        f:updateStrategy:
          f:type: {}
    manager: rancher
    operation: Update
    time: "2023-06-08T11:20:40Z"
  - apiVersion: apps/v1
    fieldsType: FieldsV1
    fieldsV1:
      f:status:
        f:collisionCount: {}
        f:currentReplicas: {}
        f:currentRevision: {}
        f:observedGeneration: {}
        f:readyReplicas: {}
        f:replicas: {}
        f:updateRevision: {}
        f:updatedReplicas: {}
    manager: kube-controller-manager
    operation: Update
    time: "2024-06-27T01:24:58Z"
  name: taskmanager
  namespace: flink-server
  resourceVersion: "126393537"
  uid: 9ddfa3b3-b497-43af-9bb6-af83ffa0aed3
spec:
  podManagementPolicy: OrderedReady
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      workload.user.cattle.io/workloadselector: statefulSet-flink-server-taskmanager
  serviceName: taskmanager
  template:
    metadata:
      annotations:
        cattle.io/timestamp: "2023-06-08T11:19:53Z"
        field.cattle.io/ports: '[[{"containerPort":6121,"dnsName":"taskmanager-nodeport","kind":"NodePort","name":"tm21","protocol":"TCP"},{"containerPort":6122,"dnsName":"taskmanager-nodeport","kind":"NodePort","name":"tm22","protocol":"TCP"}]]'
        field.cattle.io/publicEndpoints: '[{"addresses":["10.10.52.11"],"allNodes":true,"port":31538,"protocol":"TCP","serviceId":"flink-server:taskmanager-nodeport"},{"addresses":["10.10.52.11"],"allNodes":true,"port":30067,"protocol":"TCP","serviceId":"flink-server:taskmanager-nodeport"}]'
      creationTimestamp: null
      labels:
        workload.user.cattle.io/workloadselector: statefulSet-flink-server-taskmanager
    spec:
      containers:
      - args:
        - taskmanager
        env:
        - name: JOB_MANAGER_RPC_ADDRESS
          value: jobmanager
        image: 10.10.52.8/flink/flink
        imagePullPolicy: Always
        name: taskmanager
        ports:
        - containerPort: 6121
          name: tm21
          protocol: TCP
        - containerPort: 6122
          name: tm22
          protocol: TCP
        resources: {}
        securityContext:
          allowPrivilegeEscalation: false
          privileged: false
          readOnlyRootFilesystem: false
          runAsNonRoot: false
        stdin: true
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
        tty: true
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30
  updateStrategy:
    type: RollingUpdate
status:
  collisionCount: 0
  currentReplicas: 1
  currentRevision: taskmanager-6fd48fdb8d
  observedGeneration: 10
  readyReplicas: 1
  replicas: 1
  updateRevision: taskmanager-6fd48fdb8d
  updatedReplicas: 1

测试效果

控制台

（根据自己的情况）

http://10.10.52.11:31120/#/overview

扩容TaskManager

当我们对 TaskManager 进行扩容的时候，这里我扩展了 5个，正在逐步扩容，完毕之后 ，我们可以对应观察到控制台中的：

HA模式

同样的操作，你需要在 K8s 集群中用如下的方案来做高可用方案:

  • 3 x JobManager
  • N x TaskManager
  • Zookeeper
文章标签：
实时计算 Flink版
容器服务Kubernetes版
容器
流计算
Kubernetes
Cloud Native
Docker
关键词：
容器服务Kubernetes版部署
Java容器
Docker容器
容器服务Kubernetes版云原生
flink YAML
相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程，适合初学者阅读。由浅入深案例丰富，通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员，只要能够坚持把所有章节都学完，也一定会受益匪浅。
武子康
目录
相关文章
肥猪肥猪-17824
|
2月前
|
Kubernetes Cloud Native 微服务
探索云原生技术：容器化与微服务架构的融合之旅
本文将带领读者深入了解云原生技术的核心概念，特别是容器化和微服务架构如何相辅相成，共同构建现代软件系统。我们将通过实际代码示例，探讨如何在云平台上部署和管理微服务，以及如何使用容器编排工具来自动化这一过程。文章旨在为开发者和技术决策者提供实用的指导，帮助他们在云原生时代中更好地设计、部署和维护应用。
肥猪肥猪-17824
140 5
蓝易云
|
2天前
|
消息中间件 Kafka 流计算
docker环境安装kafka/Flink/clickhouse镜像
通过上述步骤和示例，您可以系统地了解如何使用Docker Compose安装和配置Kafka、Flink和ClickHouse，并进行基本的验证操作。希望这些内容对您的学习和工作有所帮助。
蓝易云
41 28
阿里云基础设施.
|
1月前
|
缓存 容灾 网络协议
ACK One多集群网关：实现高效容灾方案
ACK One多集群网关可以帮助您快速构建同城跨AZ多活容灾系统、混合云同城跨AZ多活容灾系统，以及异地容灾系统。
阿里云基础设施.
96 19
蓝易云
|
2月前
|
Kubernetes Ubuntu 网络安全
ubuntu使用kubeadm搭建k8s集群
通过以上步骤，您可以在 Ubuntu 系统上使用 kubeadm 成功搭建一个 Kubernetes 集群。本文详细介绍了从环境准备、安装 Kubernetes 组件、初始化集群到管理和使用集群的完整过程，希望对您有所帮助。在实际应用中，您可以根据具体需求调整配置，进一步优化集群性能和安全性。
蓝易云
148 12
阿里云基础设施.
|
2月前
|
Prometheus Kubernetes 监控
OpenAI故障复盘 - 阿里云容器服务与可观测产品如何保障大规模K8s集群稳定性
聚焦近日OpenAI的大规模K8s集群故障，介绍阿里云容器服务与可观测团队在大规模K8s场景下我们的建设与沉淀。以及分享对类似故障问题的应对方案：包括在K8s和Prometheus的高可用架构设计方面、事前事后的稳定性保障体系方面。
阿里云基础设施.
151 15
栈江湖
|
2月前
|
Kubernetes 网络协议 应用服务中间件
Kubernetes Ingress：灵活的集群外部网络访问的利器
《Kubernetes Ingress：集群外部访问的利器-打造灵活的集群网络》介绍了如何通过Ingress实现Kubernetes集群的外部访问。前提条件是已拥有Kubernetes集群并安装了kubectl工具。文章详细讲解了Ingress的基本组成（Ingress Controller和资源对象），选择合适的版本，以及具体的安装步骤，如下载配置文件、部署Nginx Ingress Controller等。此外，还提供了常见问题的解决方案，例如镜像下载失败的应对措施。最后，通过部署示例应用展示了Ingress的实际使用方法。
栈江湖
86 2
弹性计算-百晓生
|
2月前
|
存储 Kubernetes 关系型数据库
阿里云ACK备份中心，K8s集群业务应用数据的一站式灾备方案
本文源自2024云栖大会苏雅诗的演讲，探讨了K8s集群业务为何需要灾备及其重要性。文中强调了集群与业务高可用配置对稳定性的重要性，并指出人为误操作等风险，建议实施周期性和特定情况下的灾备措施。针对容器化业务，提出了灾备的新特性与需求，包括工作负载为核心、云资源信息的备份，以及有状态应用的数据保护。介绍了ACK推出的备份中心解决方案，支持命名空间、标签、资源类型等维度的备份，并具备存储卷数据保护功能，能够满足GitOps流程企业的特定需求。此外，还详细描述了备份中心的使用流程、控制台展示、灾备难点及解决方案等内容，展示了备份中心如何有效应对K8s集群资源和存储卷数据的灾备挑战。
弹性计算-百晓生
100 5
aliyun8599273441-30642
|
2月前
|
Kubernetes Cloud Native Docker
云原生之旅：从容器化到微服务
本文将带领读者踏上云原生的旅程，深入探讨容器化和微服务架构的概念、优势以及它们如何共同推动现代软件的发展。我们将通过实际代码示例，展示如何在Kubernetes集群上部署一个简单的微服务应用，并解释相关的配置和操作。无论你是云原生新手还是希望深化理解，这篇文章都将为你提供有价值的见解和实操指南。
aliyun8599273441-30642
62 5
肥猪肥猪-17824
|
3月前
|
Kubernetes Cloud Native Docker
云原生之旅：从传统架构到容器化服务的演变
随着技术的快速发展，云计算已经从简单的虚拟化服务演进到了更加灵活和高效的云原生时代。本文将带你了解云原生的概念、优势以及如何通过容器化技术实现应用的快速部署和扩展。我们将以一个简单的Python Web应用为例，展示如何利用Docker容器进行打包和部署，进而探索Kubernetes如何管理这些容器，确保服务的高可用性和弹性伸缩。
肥猪肥猪-17824
87 9
肥猪肥猪-17824
|
3月前
|
Kubernetes Cloud Native 开发者
云原生入门：从容器到微服务
本文将带你走进云原生的世界，从容器技术开始，逐步深入到微服务架构。我们将通过实际代码示例，展示如何利用云原生技术构建和部署应用。无论你是初学者还是有经验的开发者，这篇文章都将为你提供有价值的信息和启示。
肥猪肥猪-17824
58 3

热门文章

最新文章

  • 1
    阿里云微服务引擎 MSE 及 云原生 API 网关 2025 年 1 月产品动态
  • 2
    2024云原生年度盘点：拥抱 AI，让正确的事发生
  • 3
    AnalyticDB MySQL版：云原生离在线一体化数据仓库支持实时业务决策
  • 4
    NAS深度解析：面向云原生应用的文件存储
  • 5
    阿里云云原生NDR发布：全流量防御能力升级
  • 6
    阿里云PolarDB：引领云原生数据库创新发展
  • 7
    云原生数据仓库AnalyticDB：深度智能化的数据分析洞察
  • 8
    微服务引擎 MSE 及云原生 API 网关 2025 年 1 月产品动态
  • 9
    Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计
  • 10
    微财基于 Flink 构造实时变量池
  • 1
    构建高效自动化运维体系：Ansible与Docker的协同实践
    59
  • 2
    Docker部署开源项目Django-CMS企业内容管理系统
    190
  • 3
    构建高效自动化运维体系：Ansible与Docker的完美结合
    58
  • 4
    Ubantu docker学习笔记（十一）k8s基本操作
    90
  • 5
    Ubantu docker 大作业准备实验
    49
  • 6
    docker打包部署spring boot应用（mysql+jar+Nginx）
    426
  • 7
    Ubantu docker学习笔记（九）容器监控 自带的监控+sysdig+scope+cAdvisor+prometheus
    565
  • 8
    Ubantu docker学习笔记（八）私有仓库
    46
  • 9
    Ubantu docker学习笔记（七）容器网络
    347
  • 10
    Ubantu docker学习笔记（六）容器数据卷——补充实验
    249

    • 相关课程

    更多
  • 云计算、容器和云原生基础课程
  • ALPD云架构师系列：云原生DevOps 36计 -阿里云云效出品
  • 云原生实践公开课
  • 云原生基础概念及阿里云云原生产品介绍
  • CNCF Alibaba 云原生技术公开课
  • Kubernetes云原生管理实践

    • 相关电子书

    更多
  • 阿里云云原生技术实践营 | 上海站
  • 阿里云云原生 Serverless 技术实践营西安站材料合集
  • 智算时代，基于 Kubernetes 落地云原生 AI

    • 相关实验场景

    更多
  • 基于ACK Serverless实现容器应用弹性伸缩
  • Docker镜像管理快速入门
  • 云原生场景自动化响应ECS系统事件
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 云原生HTAP数据库，让你的交易和分析一库搞定
  • 基于Flink+Tair搭建实时监控大屏

    • 推荐镜像

    更多
  • kubernetes
  • docker-ce
  • docker-toolbox
    • 下一篇
    PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型