开发者社区大数据与机器学习实时计算 Flink 正文

请问下, 有没有什么方法能够限制 flink 消费 kafka 的速度?

展开

收起

圆葱猪肉包 2023-03-27 13:44:56 983 版权

3 条回答

写回答

取消提交回答

我是三好学生
1. flink不是自带限流 FlinkConnectorRateLimitter
2. 自己用guava 实现限流
3. 配置kafka的消费参数让他每次获取的少一些，获取时间长一些
4. 随便在kafka后面加个算子 sleep 1毫秒用被压来限制此回答整理自钉群“【③群】Apache Flink China社区”
2023-03-28 11:41:42

赞同展开评论
晨光永不消逝

今天也要加油吖~

您好，可以参考这篇文章限制速度：https://blog.csdn.net/m0_57320261/article/details/127277118。

2023-03-27 21:11:47

赞同展开评论
引号

可以调整 fetch.max.bytes 参数来控制单次获取数据的最大消息数。还可以调整 max.poll.records 参数来控制单次 poll 调用返回的最大消息数。如果处理逻辑很轻量，可以适当提高该值。

2023-03-27 15:50:28

赞同展开评论

问答分类：

消息中间件 Kafka 流计算实时计算 Flink版云消息队列 Kafka 版

问答标签：

实时计算 Flink版kafka 云消息队列 Kafka 版flink 方法实时计算 Flink版方法云消息队列 Kafka 版

问答地址：

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

相关问答

实时计算 Flink版

Flink cdc有什么方法可以获取到全量快照读取完成的信息吗？

109

Flink CDC中pg cdc 里边，有这个包，但是提示找不到这个方法？

105

Flink 打算试一下 cache 的方法，这个你们有实践过么？

164

Flink这块有什么好的方法去获取数据的状态吗？

Flink该怎么取对应key的value呢？我用json获取方法不行，其它也没看到适合的函数。

351

在Flink CDC中，有什么方法优化吗？是否只能加资源?

118

有什么比较快速的方法可以看数据库字段是不是flink的关键字么？

对于Flink CDC，把insert和update 拆分开处理，有什么好的方法处理吗？

103

在Flink CDC中 mysql整库同步到doris中，对于非主键表有处理的方法吗？

106

请问Hologres有没有什么方法让 kafka 实时读取 OSS 的数据？

115

大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

收录在圈子:

阿里云实时计算Flink

199212

+ 订阅

实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。