如何tidb Binlog 整库同步到 hive？
大家好 . 我现在有一个场景需要调研。 背景：对整库 Tidb binlog 做实时落 Hive，好几个库的binlog发送到一个Topic或者几个Topic里面，一个Topic里面有复数个表的binlog。
- 好像 Flink SQL 里面只能一个数据源 kafka 到一张Hive表，一个Topic是否可以根据解析的表不同插入到不同的Hive表吗 ? 我看了一些邮件好像说不可以的，在问一下。
- 或者有什么好的解决方式吗？因为数据量都不是很大，表比较多，每个表都要维护一个任务的话，代价比较大。
感谢！*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
在一个SQL作业中是不行的，因为SQL是强依赖Schema的，schema需要事先声明。 除了多个sql作业的方式，如果需要在一个SQL作业中可以试试在一个作业里把所有表的binlog 格式统一用一个字段(如string） 接入，然后写针对每个表的schema写一个udtf解析对应的数据，最后多路输出到hive的不同表。*来自志愿者整理的flink
2021-12-07 20:19:51赞同 展开评论 打赏
问答分类：
问答标签：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
相关文章
相关电子书
更多
