开发者社区> 问答> 正文

B站为什么需要开发Kafka动态sink功能?

B站为什么需要开发Kafka动态sink功能?

展开
收起
迪哒迪滴喵 2024-08-13 18:59:24 33 0
1 条回答
写回答
取消 提交回答
  • B站需要开发Kafka动态sink功能是因为在大量ETL场景中,原始实时数据流包含多个子业务数据,每个子业务都去消费全量数据再进行过滤,资源消耗大且Kafka IO压力大。通过动态sink功能,可以高效地将混合数据流按子业务拆分并写入对应topic,减少资源消耗和Kafka IO压力。

    2024-08-13 21:42:17
    赞同 3 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载