开发者社区大数据文章正文

SparkStreaming 整合 Kafka

2023-07-29 49

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： SparkStreaming 整合 Kafka

一、Spark Streaming 消费 Kafka 的两种方式比较

二、如何保证 Spark Streaming 的精准一次性消费？

三、如何提高 Spark Streaming 消费 Kafka 的并行度？

四、项目中 Spark Streaming 消费 Kakfa 的 offset 保存在哪里？为什么不采用 checkpoint 保存 offset，有什么缺点？

文章标签：

云消息队列 Kafka 版

消息中间件

流计算

分布式计算

Kafka

Spark

关键词：

云消息队列 Kafka 版sparkstreaming

sparkstreaming云消息队列 Kafka 版

osc_06552749

孙玉洁-47170

6天前

消息中间件分布式计算 Kafka

SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）

SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）（一）

孙玉洁-47170

57 5 5

NBI大数据可视化

消息中间件数据可视化关系型数据库

（3）sparkstreaming从kafka接入实时数据流最终实现数据可视化展示

1）我们通过kafka与各个业务系统的数据对接，将各系统中的数据实时接到kafka； 2）通过sparkstreaming接入kafka数据流，定义时间窗口和计算窗口大小，业务计算逻辑处理； 3）将结果数据写入到mysql； 4）通过可视化平台接入mysql数据库，这里使用的是NBI大数据可视化构建平台； 5）在平台上通过拖拽式构建各种数据应用，数据展示；

NBI大数据可视化

337 0 0