开发者社区大数据与机器学习实时计算 Flink 正文

请问下, 有没有什么方法能够限制 flink 消费 kafka 的速度?

展开

收起

圆葱猪肉包 2023-03-27 13:44:56 989 版权

3 条回答

写回答

取消提交回答

我是三好学生
1. flink不是自带限流 FlinkConnectorRateLimitter
2. 自己用guava 实现限流
3. 配置kafka的消费参数让他每次获取的少一些，获取时间长一些
4. 随便在kafka后面加个算子 sleep 1毫秒用被压来限制此回答整理自钉群“【③群】Apache Flink China社区”
2023-03-28 11:41:42

赞同展开评论
晨光永不消逝

今天也要加油吖~

您好，可以参考这篇文章限制速度：https://blog.csdn.net/m0_57320261/article/details/127277118。

2023-03-27 21:11:47

赞同展开评论
引号

可以调整 fetch.max.bytes 参数来控制单次获取数据的最大消息数。还可以调整 max.poll.records 参数来控制单次 poll 调用返回的最大消息数。如果处理逻辑很轻量，可以适当提高该值。

2023-03-27 15:50:28

赞同展开评论

问答分类：

消息中间件 Kafka 流计算实时计算 Flink版云消息队列 Kafka 版

问答标签：

实时计算 Flink版kafka 云消息队列 Kafka 版flink 方法实时计算 Flink版方法云消息队列 Kafka 版

问答地址：

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

相关问答

实时计算 Flink版

Flink CDC mongo源如何自定义deserializer反序列化方法？

263

Flink这块有什么好的方法去获取数据的状态吗？

想解析MySQL ddl语句，Flink CDC有没有什么工具方法呢？

116

在Flink 我要实现前后两条数据比较有啥方法？

409

Flink使用fastjson 字符串转json 方法内存满了，有什么更好的方法处理吗？

269

Flink现在想用bytebuddy动态代理修改每个算子的StreamConfig，有什么好的方法吗

有两套flink cdc程序分别在国内海外分别采集同一个mysql集群表，请问有什么方法？

对于Flink CDC，把insert和update 拆分开处理，有什么好的方法处理吗？

106

flink程序遇到了一个问题：在不改变版本的情况下，有什么解决的方法吗？

在Flink CDC中 mysql整库同步到doris中，对于非主键表有处理的方法吗？

110

大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

收录在圈子:

阿里云实时计算Flink

199212

+ 订阅

实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。