开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问下, 有没有什么方法能够 限制 flink 消费 kafka 的速度?

请问下, 有没有什么方法能够 限制 flink 消费 kafka 的速度?

展开
收起
圆葱猪肉包 2023-03-27 13:44:56 797 0
3 条回答
写回答
取消 提交回答
    1. flink不是自带限流 FlinkConnectorRateLimitter
    2. 自己用guava 实现限流
    3. 配置kafka的消费参数 让他每次获取的少一些,获取时间长一些
    4. 随便在kafka后面加个算子 sleep 1毫秒 用被压 来限制 此回答整理自钉群“【③群】Apache Flink China社区”
    2023-03-28 11:41:42
    赞同 展开评论 打赏
  • 今天也要加油吖~

    您好,可以参考这篇文章限制速度:https://blog.csdn.net/m0_57320261/article/details/127277118。

    2023-03-27 21:11:47
    赞同 展开评论 打赏
  • 可以调整 fetch.max.bytes 参数来控制单次获取数据的最大消息数。还可以调整 max.poll.records 参数来控制单次 poll 调用返回的最大消息数。如果处理逻辑很轻量,可以适当提高该值。

    2023-03-27 15:50:28
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
    消息队列kafka介绍 立即下载