FLink消费kafka ,topic分区数128 ,qps 70万/s , flink 程序并行-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

FLink消费kafka ,topic分区数128 ,qps 70万/s , flink 程序并行

2022-06-23 17:07:05 419 1

FLink消费kafka ,topic分区数128 ,qps 70万/s , flink 程序并行度128,现在不做业务处理 ,纯消费还是延迟 ,大佬们有什么优化方法吗?

取消 提交回答
全部回答(1)
  • 云墩墩
    2022-06-23 20:05:30

    128 个分区消费几十万的QPS 没什么压力,应该是有数据倾斜了,试着在 kafka层面 解决下数据倾斜问题。

    此答案来自钉钉群“【2】Apache Flink China 社区”

    0 0
相关问答

1

回答

Flink 如何消费 kafka avro 消息? #Flink

2020-05-26 20:33:02 988浏览量 回答数 1

1

回答

如何通过Flink-sql 实现3个kafka-topic的join以及后续的窗口聚合计算操作?

2021-12-02 16:02:33 431浏览量 回答数 1

1

回答

区块链溯源科创二十五史研究所众筹资源https://mp.weixin.qq.com/s/vg8R_

2021-11-08 15:47:44 1443浏览量 回答数 1

1

回答

flink sql消费kafka join普通表为何会性能爬坡?

2021-12-06 11:50:45 519浏览量 回答数 1

1

回答

我用 yarn session 提交的 flink 任务 流计算消费 kafka #Flink

2020-07-06 17:16:44 716浏览量 回答数 1

1

回答

flink sql cdc发到kafka后,消息表名信息怎么就缺失了呀?

2021-12-03 16:46:07 322浏览量 回答数 1

1

回答

OSS MEDIA C SDK 关闭HLS文件

2018-03-07 04:30:16 546浏览量 回答数 1

1

回答

大家有遇到过这种应用场景么? flink流处理过程中需要延迟10min处理kafka中的数据,因为需

2020-06-03 20:31:59 580浏览量 回答数 1

1

回答

Flink1.12 用官方默认的log4j2打日志到kafka,如何区分jobmanager和Tas

2021-12-02 11:44:11 359浏览量 回答数 1

1

回答

flink消费kafka问题

2019-10-21 13:48:13 1360浏览量 回答数 1
+关注
0
文章
5550
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载