开发者社区> 问答> 正文

Spark Streaming基于receiver的方式连接kafka有什么特点?

Spark Streaming基于receiver的方式连接kafka有什么特点?

展开
收起
游客fq2cv4o24bhvc 2021-12-07 17:38:28 423 0
1 条回答
写回答
取消 提交回答
  • 1、为了保证数据0丢失,WAL,数据会保存两份,有冗余

    2、receiver是单点读数据,如果挂掉,程序不能运行

    3、数据读到executor内存中,增大了内存使用的压力,如果消费不及时,会造成数据积压

    2021-12-07 17:41:39
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载