EventBridge的steaming,上游可以对接kafka,也可以对接EB自己的BUS,下游对接是clickhouse。这个方案与kafka直接对接clickhouse有什么区别?一般不超过64kb,假如EB支持直接写入指定clickhouse就完美了,clickhouse要求批量写,这个跟其他消费方式很不同
两种方式都涉及到读kafka消息,并写入clickhouse,都有流的操作,主要区别是这个流放在那边管理,流本身有哪些能力(攒批,transform,顺序,异常处理,反压,监控报警等等),流的生态如何(上下游支持哪些生态,后续是否方便平迁和集成等)。这个主要是因为ck的链接能力导致的,为了提高吞吐,需要一次链接尽可能多的写入数据。这块结合EB链路攒批能力肯定是可以解决的,只是我们目前sink侧还没有提供针对ck的支持;如果短期需要很急可以利用EB+FC,如果等的急可以用我们服务化的方案。短期方案就是数据入bus(成本问题不想用kafka的话),然后使用streaming赞批入fc,fc自己写ck;长期方案eb提供服务化的ck sink,通过streaming直接打通bus到ck。,此回答整理自钉群“EventBridge用户交流群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
阿里云拥有国内全面的云原生产品技术以及大规模的云原生应用实践,通过全面容器化、核心技术互联网化、应用 Serverless 化三大范式,助力制造业企业高效上云,实现系统稳定、应用敏捷智能。拥抱云原生,让创新无处不在。