游客hyomwuzehxddq_个人页
游客hyomwuzehxddq
文章
1
问答
1
视频
0
个人介绍
暂无个人介绍
擅长的技术
暂无更多信息
2024年11月
-
11.14 13:51:01
回答了问题
2024-11-14 13:51:01
FFA 2024 大会门票免费送！AI时代下大数据技术未来路在何方？
赞10 踩0 评论0 -
11.14 09:03:07
发表了文章
2024-11-14 09:03:07
FlinkKafkaConsumer相同group.id多个任务消费kafka问题
当使用FlinkKafkaConsumer消费Kafka时，即使设置了相同的group.id，由于Flink内部管理partition的消费offset，两个程序仍能同时消费所有数据。这与KafkaConsumer不同，后者严格遵循消费组隔离原则，避免重复消费同一分区的数据。Flink为实现exactly-once语义，需要独立管理offset，这导致了上述现象。
-
回答了问题
2024-11-14
FFA 2024 大会门票免费送！AI时代下大数据技术未来路在何方？
在通讯行业从事实时大数据开发已近三年，就目前的大环境而言，实时数据采集加工以及基于hudi或iceberg的湖仓一体架构正得到更加广泛的应用。去年在北京举办的FFA2023让我受益匪浅，尤其是快手数据湖在实时场景的建设与实践这一论坛，为我今后解决实际生产问题提供了不少有价值的思路。今年我主要研究流批一体、流式湖仓、Flink调优等，对《抛弃并行度设置：Flink 智能扩展，资源消耗最小化》，《抖音集团基于Paimon的流式数据湖应用实践》等论坛有浓厚的兴趣，希望能去现场聆听各位技术大咖的精彩分享#我要去现场#赞10 踩0 评论0
滑动查看更多
暂无更多信息