AI 助理
备案控制台
开发者社区 问答 正文

B站是如何解决Kafka动态sink问题的？

B站是如何解决Kafka动态sink问题的？

展开
收起
迪哒迪滴喵 2024-08-13 18:59:13 64 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 迪姐暴打小怪兽

    为了解决Kafka动态sink问题，B站开发了一套功能，支持在一个Kafka sink里面动态地写多个topic数据。通过扩展Kafka表的DDL定义，在topic属性里支持UDF功能，根据入仓的数据计算出应写入的Kafka集群和topic，从而避免了资源争抢、维护成本高等问题。image.png

    2024-08-13 21:42:19
    赞同 1 展开评论
问答分类：
消息中间件 Kafka 云消息队列 Kafka 版
问答标签：
云消息队列 Kafka 版sink
问答地址：
开发者社区 > 微服务 > 问答
相关问答
flink cdc sql将一个source，sink到pg和kafka，这种场景支持吗?
140
0
0
在使用 Flink CDC 进行数据流处理时，这个 Kafka sink 是在哪里实现的？
202
2
0
Flink CDC读取kafka中的订单和订单明细数据，同步到sink表后，这一般是什么问题啊？
86
1
0
Flink CDC 有人用过upsert-kafka做为sink端吗？
116
1
0
Flink CDC有sink到kafka的方法吗？
231
1
0
B站Kafka动态sink功能如何保证数据一致性？
76
1
0
B站Kafka动态sink功能的实现原理是什么？
67
1
0
B站为什么需要开发Kafka动态sink功能？
65
1
0
Flink CDC两台服务器传输数据，在sink端部署kafka接收数据，是否可行？
123
1
0
Flink CDC这个第六步一定要写kafka吗？ 直接写sink库不写kakfa不行吗？
174
1
0