【Flink】怎么提交的实时任务,有多少Job Manager?

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 【4月更文挑战第18天】【Flink】怎么提交的实时任务,有多少Job Manager?

image.png

在 Flink 中提交实时任务时,通常只有一个 JobManager。JobManager 是 Flink 集群的主节点,负责接收、调度和管理作业的执行。一般情况下,每个 Flink 集群只有一个 JobManager,它是整个集群的控制中心。在某些情况下,可以通过配置高可用性(High Availability, HA)模式来启动多个 JobManager 实例,以提高集群的可靠性和容错性。接下来,我将详细解释提交实时任务时的 JobManager 数量以及相关概念。

1. 单个 JobManager

特点:

  • 控制中心:单个 JobManager 是整个 Flink 集群的控制中心,负责接收和管理作业的执行。
  • 调度器:JobManager 负责调度作业的执行顺序和资源分配,确保作业能够按照预期顺利执行。
  • 状态管理:JobManager 负责管理作业的状态信息,包括作业的运行状态、检查点信息、保存点信息等。
  • 容错保证:JobManager 负责监控作业的执行过程,确保作业能够在发生故障时进行恢复和重新调度。

示例代码片段:

以下是一个简单的 Flink 实时任务的提交代码示例:

import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class RealTimeJob {
   
   
    public static void main(String[] args) throws Exception {
   
   
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 创建实时数据流
        DataStream<String> stream = env.socketTextStream("localhost", 9999);

        // 对数据流进行转换和计算
        DataStream<String> result = stream.map(s -> s.toUpperCase());

        // 输出计算结果
        result.print();

        // 提交实时任务
        env.execute("RealTimeJob");
    }
}

上述代码示例中,通过创建 StreamExecutionEnvironment 对象,构建实时数据流处理任务,并使用 env.execute("RealTimeJob") 方法提交任务到 Flink 集群中。在提交任务时,只需要指定一个 JobManager,即可完成任务的调度和执行。

2. 高可用性(HA)模式下的多个 JobManager

特点:

  • 容错性增强:在高可用性模式下,可以启动多个 JobManager 实例,增强集群的容错性和可靠性。
  • 主备切换:高可用性模式下的多个 JobManager 实例之间会进行主备切换,确保在主 JobManager 故障时能够自动切换到备用 JobManager 上继续作业的执行。
  • 分布式存储:高可用性模式通常需要依赖分布式存储系统,如 ZooKeeper,用于保存作业的元数据信息和状态信息,以实现主备切换和状态同步。

示例代码片段:

以下是一个简单的 Flink 高可用性模式下的任务提交代码示例:

import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class HighAvailabilityJob {
   
   
    public static void main(String[] args) throws Exception {
   
   
        Configuration config = new Configuration();
        config.setBoolean(ConfigConstants.HA_ENABLED, true);
        config.setString(ConfigConstants.HA_ZOOKEEPER_QUORUM, "localhost:2181");

        final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(config);

        // 创建实时数据流
        DataStream<String> stream = env.socketTextStream("localhost", 9999);

        // 对数据流进行转换和计算
        DataStream<String> result = stream.map(s -> s.toUpperCase());

        // 输出计算结果
        result.print();

        // 提交实时任务
        env.execute("HighAvailabilityJob");
    }
}

上述代码示例中,通过配置 ConfigConstants.HA_ENABLEDConfigConstants.HA_ZOOKEEPER_QUORUM 实现了高可用性模式下的任务提交。在这种模式下,Flink 将会启动多个 JobManager 实例,并通过 ZooKeeper 进行主备切换和状态同步,以提高集群的容错性和可靠性。

3. 总结

在 Flink 中提交实时任务时,通常只有一个 JobManager。单个 JobManager 是整个 Flink 集群的控制中心,负责接收、调度和管理作业的执行。在某些情况下,可以通过配置高可用性(HA)模式来启动多个 JobManager 实例,以提高集群的可靠性和容错性。通过示例代码片段的解释,读者可以更好地理解实时任务提交时的 JobManager 数量和相关概念,从而更加灵活地配置和管理 Flink 集群。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
4天前
|
关系型数据库 测试技术 数据处理
实时计算 Flink版产品使用合集之TaskManager宕机是什么原因
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4天前
|
NoSQL Java MongoDB
实时计算 Flink版产品使用合集之在一个任务中创建了多个MySQLCDC源表,这些源表是否共享同一个数据库连接池
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4天前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用合集之在Application模式下,如何在客户端中同步获取任务执行结果后再退出
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4天前
|
SQL Java 数据库连接
实时计算 Flink版产品使用合集之同步数据到Doris的任务中,遇到在继续同步后再次点击下线无法下线,如何处理
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4天前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用合集之从Oracle数据库同步数据时,checkpoint恢复后无法捕获到任务暂停期间的变更日志,如何处理
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4天前
|
SQL 运维 数据处理
实时计算 Flink版产品使用合集之从指定的MySQLbinlog文件读取数据并写入本地文件,但发现任务已经对指定的binlog文件做完检查点并开始处理下一个binlog文件,该怎么处理
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
流计算 Java 缓存
Flink运行时之TaskManager执行Task
TaskManager执行任务 当一个任务被JobManager部署到TaskManager之后,它将会被执行。本篇我们将分析任务的执行细节。 submitTask方法分析 一个任务实例被部署所产生的实际影响就是JobManager会将一个TaskDeploymentDescriptor对象封装在SubmitTask消息中发送给TaskManager。
1508 1
|
4天前
|
消息中间件 Kafka 分布式数据库
实时计算 Flink版产品使用合集之如何批量读取Kafka数据
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4天前
|
SQL JSON 资源调度
实时计算 Flink版产品使用合集之如何指定FlinkYarnSession启动的properties文件存放位置
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4天前
|
SQL 监控 Oracle
实时计算 Flink版产品使用合集之如何指定表的隐藏列为主键
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。