AI 助理
备案控制台
开发者社区 大数据 文章 正文

从Flink 重启策略机制能学习到什么？

2023-07-17 112
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，5000CU*H 3个月
推荐场景：
实时发现最热Github项目
简介： 最近在学习Flink ，在看到Flink的重启策略机制时感觉这个设计很好。

最近在学习Flink ，在看到Flink的重启策略机制时感觉这个设计很好。

第一个是固定延迟重启

间隔1分钟，尝试三次，这是我们经常用到的。

但是这个方法有一个缺点，就是次数和间隔不好确定

第二个是按照失败率重启

十分钟之内每间隔1分钟重启一次，10分钟最多尝试3次，每次间隔1分钟.

(⊙o⊙)… 这种设计就比较优雅.

// 3. 重启策略配置
        // 固定延迟重启
        env.setRestartStrategy(RestartStrategies.fixedDelayRestart(3, 10000L));
        // 失败率重启
        env.setRestartStrategy(RestartStrategies.failureRateRestart(3, Time.minutes(10), Time.minutes(1)));
文章标签：
实时计算 Flink版
流计算
关键词：
实时计算 Flink版机制
实时计算 Flink版重启
实时计算 Flink版学习
实时计算 Flink版策略
实时计算 Flink版重启策略
相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程，适合初学者阅读。由浅入深案例丰富，通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员，只要能够坚持把所有章节都学完，也一定会受益匪浅。
myysophia
目录
相关文章
喜欢猪猪
|
1月前
|
存储 缓存 算法
分布式锁服务深度解析：以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中，多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性，我们需要一种机制来协调这些进程或节点的访问，避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制，确保同一时间只有一个进程或节点能够访问和操作共享资源。
喜欢猪猪
67 3
土木林森
|
3月前
|
存储 数据处理 Apache
超越传统数据库：揭秘Flink状态机制，让你的数据处理效率飞升！
【8月更文挑战第26天】Apache Flink 在流处理领域以其高效实时的数据处理能力脱颖而出，其核心特色之一便是状态管理机制。不同于传统数据库依靠持久化存储及 ACID 事务确保数据一致性和可靠性，Flink 利用内存中的状态管理和分布式数据流模型实现了低延迟处理。Flink 的状态分为键控状态与非键控状态，前者依据数据键值进行状态维护，适用于键值对数据处理；后者与算子实例关联，用于所有输入数据共享的状态场景。通过 checkpointing 机制，Flink 在保障状态一致性的同时，提供了更适合流处理场景的轻量级解决方案。
土木林森
58 0
灵杰开发者
|
1月前
|
存储 Kubernetes 调度
Flink 批作业如何在 Master 节点出错重启后恢复执行进度？
本文由阿里云研发工程师李俊睿撰写，介绍了Flink 1.20版中新引入的批作业进度恢复功能。文章涵盖背景、解决思路、使用效果及启用方法。此前，若JobMaster故障，批作业需重头开始，造成进度丢失。新功能通过将JM状态持久化至外部存储并在故障后利用这些状态恢复作业进度，避免了这一问题。使用该功能需启用集群高可用并配置相关参数。
灵杰开发者
173 0
Flink 批作业如何在 Master 节点出错重启后恢复执行进度？
土木林森
|
3月前
|
存储 Java 流计算
Flink 分布式快照，神秘机制背后究竟隐藏着怎样的惊人奥秘？快来一探究竟！
【8月更文挑战第26天】Flink是一款开源框架，支持有状态流处理与批处理任务。其核心功能之一为分布式快照，通过“检查点(Checkpoint)”机制确保系统能在故障发生时从最近的一致性状态恢复，实现可靠容错。Flink通过JobManager触发检查点，各节点暂停接收新数据并保存当前状态至稳定存储（如HDFS）。采用“异步屏障快照(Asynchronous Barrier Snapshotting)”技术，插入特殊标记“屏障(Barrier)”随数据流传播，在不影响整体流程的同时高效完成状态保存。例如可在Flink中设置每1000毫秒进行一次检查点并指定存储位置。
土木林森
63 0
三分钟热度的鱼
|
3月前
|
SQL Prometheus 监控
实时计算 Flink版产品使用问题之作业频繁重启该如何处理
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
45 0
三分钟热度的鱼
|
4月前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用问题之集群重启后，所有的Jobs任务丢失，如何快速恢复
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
210 2
八百标兵奔北坡
|
4月前
|
存储 缓存 监控
Flink内存管理机制及其参数调优
Flink内存管理机制及其参数调优
八百标兵奔北坡
217 1
三分钟热度的鱼
|
4月前
|
消息中间件 SQL Kafka
实时计算 Flink版产品使用问题之从检查点重启任务，怎么在YAML配置文件中添加检查点的路径
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
48 0
实时计算 Flink版产品使用问题之从检查点重启任务，怎么在YAML配置文件中添加检查点的路径
土木林森
|
3月前
|
消息中间件 安全 Kafka
Flink与Kafka的终极联盟：揭秘如何在一瞬间切换SASL机制，保护您的数据不受黑客侵袭！
【8月更文挑战第7天】Apache Flink作为高性能流处理框架，在与Kafka集成时确保数据安全至关重要。通过配置`KafkaConsumer`使用SASL机制如SCRAM-SHA-256或PLAIN，可有效防止未授权访问。SCRAM-SHA-256采用强化的身份验证流程提高安全性，而PLAIN机制则相对简单。配置涉及设置`properties`参数，包括指定`sasl.mechanism`、`security.protocol`及JAAS认证信息。合理选择和配置这些参数对于保护Flink应用与Kafka间的数据通信安全至关重要。
土木林森
74 0
三分钟热度的鱼
|
4月前
|
监控 关系型数据库 MySQL
实时计算 Flink版产品使用问题之在进行全量数据初始化时，连接器一般会采用什么策略
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
61 0

热门文章

最新文章

  • 1
    Flink SQL 实战：双流 join 场景应用
  • 2
    Flink on YARN（上）：一张图轻松掌握基础架构与启动流程
  • 3
    Flink的sink实战之四：自定义
  • 4
    Flink对迟到数据的处理
  • 5
    flink面试问题总结（3）
  • 6
    Flink - 新增 BroadcastStream 无 watermark 导致数据流异常
  • 7
    Flink 消息聚合处理方案
  • 8
    flink cdc 同步问题之如何同步多张库表
  • 9
    Flink SQL之时态表（Temporal Tables）
  • 10
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 1
    实时计算 Flink版产品使用合集之并行度设置为1时，读取和发送字节数为0，有什么办法可以解决
    60
  • 2
    实时计算 Flink版产品使用合集之是否支持 Oracle 分区表
    51
  • 3
    实时计算 Flink版产品使用合集之在使用Flink SQL向ClickHouse写入数据的过程中出现丢数据或重复数据的情况如何解决
    325
  • 4
    实时计算 Flink版产品使用合集之oracle cdc 抽取新增一张表 可以从savepoint恢复吗
    63
  • 5
    实时计算 Flink版产品使用合集之要将收集到的 MongoDB 数据映射成 JSON 对象而非按字段分割，该怎么操作
    82
  • 6
    实时计算 Flink版产品使用合集之断点续传的步骤是什么
    81
  • 7
    实时计算 Flink版产品使用合集之在生产环境中配置Flink CDC，主要需要考虑什么
    82
  • 8
    实时计算 Flink版产品使用合集之从MySQL到Flink 1.16.2 Flink-SQL的数据同步工作出现了一个异常如何解决
    123
  • 9
    实时计算 Flink版产品使用合集之想要解决RangeMap在处理重叠范围时的裁开问题如何解决
    38
  • 10
    实时计算 Flink版产品使用合集之可以将数据写入 ClickHouse 数据库中吗
    226

    • 相关课程

    更多
  • 大数据Flink实时旅游平台环境篇 2020版
  • Apache Flink 入门到实战 - Flink开源社区出品
  • 实时计算 Flink 版产品入门与实操
  • 开源 Flink 极速上手教程
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Flink CDC Meetup PPT - 龚中强
  • Flink CDC Meetup PPT - 王赫
  • Flink CDC Meetup PPT - 覃立辉

    • 相关实验场景

    更多
  • 通过FastMR自动拉起大数据集群并运行TPCDS任务
  • XXL-JOB零改造迁移
  • 使用Flink实时发现最热Github项目
  • 5分钟上手Flink MySQL连接器
    • 下一篇
    阿里云OSS设置跨域访问