各位大佬，咨询个技术方面的思路问题，不知道下面的思路是否合适：1、背景： 昨天看美团搭建#Flink
各位大佬，咨询个技术方面的思路问题，不知道下面的思路是否合适： 1、背景： 昨天看美团搭建实时数库的架构设计PPT(https://developer.aliyun.com/article/741468?spm=a2c6h.15056366.J_4429179800.8.13d43d64IrWQR6) 中，各种汇总层(像dws层,ads层) 都写在kafka中; 2、问题点：目前的KafkaTableSink只支持append模式写kafka,暂不支持upset模式,无法实现写实时流的汇总数据到kafka（比如通过KafkaTableSink是无法实现以下sql写kafka的：INSERT INTO user_log_sink SELECT item_id, category_id, behavior, max(ts), min(proctime), max(proctime), count(user_id) FROM user_log group by item_id, category_id, behavior;） ； 3、解决方案1：自已实现一个upset模式的KafkaUpsertTableSink, 实现将flink汇总的数据写入kafka（注：继承自UpsertStreamTableSink，参考https://www.cnblogs.com/Springmoon-venn/p/12652845.html ） 以上是我的思路，但尚未实现过，群里有大佬在真实环境中实现过的吗？或者上面思路本身就有问题(将汇总数据写kafka)?#Flink
写回答
-
sql 写 kafka都是这样用的，https://github.com/springMoon/sqlSubmit/tree/master/src/main/scala/com/rookie/submit/connector/kafka 这有实现的代码，可以参考下
2020-07-09 15:05:30赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
