AI 助理
备案控制台
开发者社区 大数据 文章 正文

flink - 反压

2017-04-07 2811
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，5000CU*H 3个月
推荐场景：
实时发现最热Github项目
简介：

http://wuchong.me/blog/2016/04/26/flink-internals-how-to-handle-backpressure/

https://ci.apache.org/projects/flink/flink-docs-master/internals/back_pressure_monitoring.html

 

反压之所以会是需要的，因为当源端流量过大，而消费端无法及时消费时，可能会导致job crash；比如内存耗尽等；

其实通过合理控制资源的使用，JStorm也可以做到自然反压的

spout pending队列是可以配置的，只有当record被ack，才会发送新的record，也可以达到流控的目的

Flink没有实现特别的反压逻辑，是因为对于flink而言，每层的buffer是可控的，是一个固定大小的bufferpool，当buffer用完时，发送端自然会停止发送，达到限流的目的，从而防止资源耗尽

文章标签：
实时计算 Flink版
流计算
jstorm
相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程，适合初学者阅读。由浅入深案例丰富，通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员，只要能够坚持把所有章节都学完，也一定会受益匪浅。
小旋风柴进
目录
相关文章
阿里云实时计算Flink
|
流计算 Java 监控
如何分析及处理 Flink 反压？
反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。
阿里云实时计算Flink
16186 1
如何分析及处理 Flink 反压？
三分钟热度的鱼
|
7月前
|
SQL 监控 Java
实时计算 Flink版产品使用问题之出现反压（Backpressure）问题时，该如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
214 0
三分钟热度的鱼
|
9月前
|
SQL 存储 监控
实时计算 Flink版产品使用合集之Checkpoint监控和反压监控在哪里看
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
96 0
真的很搞笑
|
9月前
|
消息中间件 Java Kafka
实时计算 Flink版产品使用合集之在处理Kafka实时同步时，遇到反压的情况，该怎么办
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
真的很搞笑
98 1
三分钟热度的鱼
|
9月前
|
消息中间件 Oracle 关系型数据库
实时计算 Flink版产品使用合集之从SQLServer到SQLServer进行数据迁移时，遇到反压，该如何处理
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
201 0
阿甘兄
|
存储 消息中间件 网络协议
Flink教程（31）- Flink网络流控及反压（下）
Flink教程（31）- Flink网络流控及反压（下）
阿甘兄
172 0
阿甘兄
|
SQL 分布式计算 网络协议
Flink教程（31）- Flink网络流控及反压（上）
Flink教程（31）- Flink网络流控及反压（上）
阿甘兄
126 0
JasonLee实时计算
|
消息中间件 监控 Kafka
Flink 1.13.0 反压监控的优化
Flink 1.13.0 版本增加了很多新特征,具体可以参考前面一篇文章,在 Flink 1.13.0 版本之前,我们通常是通过 UI 上面的 BackPressure 或者 Metrics 里面的 inPoolUsage ,outPoolUsage 指标去分析反压出现的位置.在 Flink 1.13.0 版本中对反压监控新增了瓶颈检测,能够帮助我们快速定位反压的位置,因为性能分析的过程中第一个问题就是,哪个操作是瓶颈?为了帮助回答这个问题，Flink 公开了有关任务繁忙（正在执行工作）和反压（具有执行工作的能力，但不能执行任务的原因，因为其后继的算子无法接收更多数据）的度量标准。瓶颈的候选者
JasonLee实时计算
527 1
Flink 1.13.0 反压监控的优化
JasonLee实时计算
|
消息中间件 JSON 监控
Flink 任务 Jackson 解析 JSON 使用不当引发的反压问题
背景 最近业务方反馈线上一个 topic 的数据延迟比较大,然后我查看了这个 topic 的数据是由一个 Flink 任务产生的,于是就找到了这个任务开始排查问题,发现这个任务是一个非常简单的任务,大致的逻辑是 kafka source -> flatmap -> filter -> map -> sink kafka.中间没有复杂的操作,我在本地写了一个简单的程序模拟线上的任务.方便大家理解, 任务的 DAG 如下图所示
JasonLee实时计算
712 0
Flink 任务 Jackson 解析 JSON 使用不当引发的反压问题
阿里云实时计算Flink
|
存储 消息中间件 分布式计算
Apache Flink 进阶（七）：网络流控和反压剖析
本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下： - 网络流控的概念与背景 - TCP的流控机制 - Flink TCP-based 反压机制（before V1.5） - Flink Credit-based 反压机制 （since V1.5） - 总结与思考
阿里云实时计算Flink
3920 0
Apache Flink 进阶（七）：网络流控和反压剖析

热门文章

最新文章

  • 1
    Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计
  • 2
    Flink CDC YAML：面向数据集成的 API 设计
  • 3
    微财基于 Flink 构造实时变量池
  • 4
    Flink 基础详解：大数据处理的强大引擎
  • 5
    Flink SQL 详解：流批一体处理的强大工具
  • 6
    Flink Materialized Table：构建流批一体 ETL
  • 7
    SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
  • 8
    Apache Flink 漫谈系列(10) - JOIN LATERAL
  • 9
    万字长文：基于Apache Hudi + Flink多流拼接(大宽表)最佳实践
  • 10
    Flink Mysql CDC结合Doris flink connector实现数据实时入库
  • 1
    实时计算 Flink版产品使用合集之如何批量读取Kafka数据
    1222
  • 2
    实时计算 Flink版产品使用合集之如何指定FlinkYarnSession启动的properties文件存放位置
    867
  • 3
    实时计算 Flink版产品使用合集之如何指定表的隐藏列为主键
    509
  • 4
    实时计算 Flink版产品使用合集之管理内存webui上一直是百分百是什么导致的
    563
  • 5
    实时计算 Flink版产品使用合集之TaskManager宕机是什么原因
    434
  • 6
    实时计算 Flink版产品使用合集之是否支持将数据直接写入adb
    353
  • 7
    实时计算 Flink版产品使用合集之如何配置可以实现实时同步多张MySQL源表时只读取一次binlog
    135
  • 8
    实时计算 Flink版产品使用合集之增量阶段的顺序性保障是否必须得是单并行度
    459
  • 9
    实时计算 Flink版产品使用合集之测试使用initial模式，使用savepoint停掉再加上表，不会做全量同步，是什么导致的
    97
  • 10
    实时计算 Flink版产品使用合集之怎么将MyBatis-Plus集成到SQL语法中
    295

    • 相关课程

    更多
  • 大数据Flink实时旅游平台环境篇 2020版
  • Apache Flink 入门到实战 - Flink开源社区出品
  • 实时计算 Flink 版产品入门与实操
  • 开源 Flink 极速上手教程
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Flink CDC Meetup PPT - 龚中强
  • Flink CDC Meetup PPT - 王赫
  • Flink CDC Meetup PPT - 覃立辉

    • 相关实验场景

    更多
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于Flink+Tair搭建实时监控大屏
  • 5分钟上手Flink MySQL连接器
  • 使用Flink实时发现最热Github项目
    • 下一篇
    PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型