flink做流表维表关联，每天TB级数据量，维表存储在mysql。程序提交后，查看背压率为1.严重背压了
flink源是kafka，sink到hdfs。用到算子filter、process算子
filter按规则过滤
process关联维表，并作数据转换拼接
从flinkUI中看到filter方框的背压率为1，查看参数是output产生的背压，也就是process算子产生的背压。
优化手段：
checkpoint存储到rockDB，缩短checkpoint时间
给维表添加缓存，先读缓存，读不到再读数据库
mysql匹配字段添加索引
提高process算子并行度
flink背压问题解决记录
2021-08-17
696
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
flink做流表维表关联，每天TB级数据量
目录
相关文章
|
8月前
|
消息中间件
缓存
监控
|
2月前
|
存储
监控
数据处理
flink 向doris 数据库写入数据时出现背压如何排查？
本文介绍了如何确定和解决Flink任务向Doris数据库写入数据时遇到的背压问题。首先通过Flink Web UI和性能指标监控识别背压，然后从Doris数据库性能、网络连接稳定性、Flink任务数据处理逻辑及资源配置等方面排查原因，并通过分析相关日志进一步定位问题。
227
61
61
|
8月前
|
消息中间件
Java
Kafka
Flink背压问题之checkpoint超时如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
178
1
1
|
8月前
|
消息中间件
监控
Java
|
消息中间件
存储
监控
|
监控
Java
分布式数据库
Flink/Hbase - Sink 背压100% 与 hbase.util.RetryCounter.sleepUntilNextRetry 异常分析与排查
Flink-hbase 任务 hbase.util.RetryCounter.sleepUntilNextRetry 堆栈问题分析与排查。
466
0
0
|
监控
Java
Apache
|
流计算
缓存
监控
深入了解 Flink 网络栈（二）：监控、指标和处理背压
在之前的文章中，我们从高级抽象到底层细节各个层面全面介绍了 Flink 网络栈的工作机制。作为这一系列的第二篇文章，本文将在第一篇的基础上更进一步，主要探讨如何监视与网络相关的指标，从而识别背压等因素带来的影响，或找出吞吐量和延迟的瓶颈所在。
8634
0
0
|
Java
流计算
|
Java
流计算
Flink如何应对背压问题
经常有人会问Flink如何处理背压问题。其实，答案很简单：Flink没用使用任何通用方案来解决这个问题，因为那根本不需要那样的方案。它利用自身作为一个纯数据流引擎的优势来优雅地响应背压问题。这篇文章，我们将介绍背压问题，然后我们将深挖Flink的运行时如何在task之间传输数据缓冲区内的数据以及流数据如何自然地两端降速来应对背压，最终将以一个小示例来演示它。
2116
0
0
热门文章
最新文章
1
基于 Flink 进行增量批计算的探索与实践
2
探索Flink动态CEP：杭州银行的实战案例
3
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
4
Flink CDC 在阿里云实时计算Flink版的云上实践
5
探索阿里云 Flink 物化表：原理、优势与应用场景全解析
6
Flink 四大基石之窗口（Window）使用详解
7
深入理解 Flink 中的 State
8
Flink 四大基石之 Checkpoint 使用详解
9
Flink 四大基石之 Time (时间语义) 的使用详解
10
实时计算UniFlow：Flink+Paimon构建流批一体实时湖仓
1
Flink SQL 详解：流批一体处理的强大工具
63
2
Flink 基础详解：大数据处理的强大引擎
74
3
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
323
4
Flink 四大基石之 Checkpoint 使用详解
76
5
Flink 四大基石之窗口（Window）使用详解
90
6
Hologres+Flink企业级实时数仓核心能力介绍-2024实时数仓Hologres线上公开课03
36
7
Flink 四大基石之 Time (时间语义) 的使用详解
70
8
Flink CDC 在阿里云实时计算Flink版的云上实践
134
9
深入理解 Flink 中的 State
74
10
基于 Flink 进行增量批计算的探索与实践
434