开发者社区> 问答> 正文

B站是如何解决Kafka动态sink问题的?

B站是如何解决Kafka动态sink问题的?

展开
收起
迪哒迪滴喵 2024-08-13 18:59:13 19 0
1 条回答
写回答
取消 提交回答
  • 为了解决Kafka动态sink问题,B站开发了一套功能,支持在一个Kafka sink里面动态地写多个topic数据。通过扩展Kafka表的DDL定义,在topic属性里支持UDF功能,根据入仓的数据计算出应写入的Kafka集群和topic,从而避免了资源争抢、维护成本高等问题。image.png

    2024-08-13 21:42:19
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载