开发者社区 > 云原生 > 正文

EventBridge的steaming,上游可以对接kafka,也可以对接EB自己的BUS?

EventBridge的steaming,上游可以对接kafka,也可以对接EB自己的BUS,下游对接是clickhouse。这个方案与kafka直接对接clickhouse有什么区别?一般不超过64kb,假如EB支持直接写入指定clickhouse就完美了,clickhouse要求批量写,这个跟其他消费方式很不同

展开
收起
cuicuicuic 2023-08-20 18:46:38 45 0
1 条回答
写回答
取消 提交回答
  • 两种方式都涉及到读kafka消息,并写入clickhouse,都有流的操作,主要区别是这个流放在那边管理,流本身有哪些能力(攒批,transform,顺序,异常处理,反压,监控报警等等),流的生态如何(上下游支持哪些生态,后续是否方便平迁和集成等)。这个主要是因为ck的链接能力导致的,为了提高吞吐,需要一次链接尽可能多的写入数据。这块结合EB链路攒批能力肯定是可以解决的,只是我们目前sink侧还没有提供针对ck的支持;如果短期需要很急可以利用EB+FC,如果等的急可以用我们服务化的方案。短期方案就是数据入bus(成本问题不想用kafka的话),然后使用streaming赞批入fc,fc自己写ck;长期方案eb提供服务化的ck sink,通过streaming直接打通bus到ck。,此回答整理自钉群“EventBridge用户交流群”

    2023-08-20 19:08:29
    赞同 展开评论 打赏

阿里云拥有国内全面的云原生产品技术以及大规模的云原生应用实践,通过全面容器化、核心技术互联网化、应用 Serverless 化三大范式,助力制造业企业高效上云,实现系统稳定、应用敏捷智能。拥抱云原生,让创新无处不在。

相关产品

  • 云消息队列 Kafka 版
  • 相关电子书

    更多
    Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
    消息队列kafka介绍 立即下载