产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云
备案控制台登录/注册
探索云世界
开发者社区 大数据 文章 正文

【Spark Summit East 2017】 使用Kafka Connect和Spark Streaming构建实时数据管道

2017-02-18 2202
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Ewen Cheslack Postava在Spark Summit East 2017上的演讲，主要介绍了面对使用Spark Streaming构建大规模实时数据管道的挑战，Kafka项目最近推出了新的工具—— Kafka Connect，该工具将帮助简化从Kafka导入和导出数据，Ewen Cheslack Postava分享了如何使用Kafka Connect和Spark Streaming构建实时数据管道。
+关注继续查看

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Ewen Cheslack Postava在Spark Summit East 2017上的演讲，主要介绍了面对使用Spark Streaming构建大规模实时数据管道的挑战，Kafka项目最近推出了新的工具—— Kafka Connect，该工具将帮助简化从Kafka导入和导出数据，Ewen Cheslack Postava分享了如何使用Kafka Connect和Spark Streaming构建实时数据管道。


c5fc63435aac547d70066e3be0a4e6e7c528b053

bee1280438148f57ee3ebc08d8008a72670b9810

cca1f403223803dc8f30250acdd9bc34b4b7ff34

20b4fe39bcf08989c3d88aa31760c5b129e32790

90c3b2ffed4a2f5b4170196af8a6968887129bf3

2ef638d771b3ae0484717f7b118b0db3aed68f34

0ce9eb575080426b2fa1b4ff8b8d6a95adf128e0

230e2c5b66bcee7f9db83e07ab234ef743f41211

3815a69bbbc9ac929923eb0350f9d76d335d9b30

76af9a2d169141af97945a562c2e2cbaa1c8c1cc

056784e8f5ea311b9ecd7f374a2f9338e5b60142

f2c0e00133fe97c9fbcead33a02737efea3d064d

65c2283b3c6f6045e71b77c1a334903c5dd67f54



ab448da55d44dd72e15d789bf7cb6853d9c1ed37

e471b65f8fcdf0bab9ea77e54d4128561865b8b0

0bf51c50e6a2f1490ec027eadc808cb78db4536f

490fe59051c781e83cc1610079e6bab2f3a2e236

d71c2a7dfd0cfb0a2a8a07d55537b478574111ea

5a2ec6f99402c867ec0e0d418e58df1092bc67d7

ea96ae877426a9cbc83c86bce2bbad365759f006

89bf1f94c4c77ef1c96c72e96f92dca6bdd69c93

9ba6d56ce6b1abf579286da499a7d4d25db54a62

21bc294477c058266cc8e92883ff7d36b23111b0

37604312182721855813d33db75d5986c9707893

19571f1d9dbccc50b9cdd3bda181804f133b1476

文章标签：
云消息队列 Kafka 版
分布式计算
大数据
Spark
消息中间件
Kafka
流计算
MaxCompute
关键词：
云消息队列 Kafka 版数据
apache spark streaming
apache spark数据
apache spark kafka
云消息队列 Kafka 版streaming
小猫吃鱼569
目录
相关文章
阿甘兄
|
1月前
|
消息中间件 分布式计算 Kafka
195 Spark Streaming整合Kafka完成网站点击流实时统计
195 Spark Streaming整合Kafka完成网站点击流实时统计
阿甘兄
12 0
赵广陆
|
3月前
|
消息中间件 分布式计算 Kafka
大数据Spark Structured Streaming集成 Kafka
大数据Spark Structured Streaming集成 Kafka
赵广陆
30 0
赵广陆
|
3月前
|
消息中间件 分布式计算 Kafka
大数据Spark Streaming集成Kafka
大数据Spark Streaming集成Kafka
赵广陆
67 0
星光下的赶路人
|
4月前
|
消息中间件 存储 分布式计算
Spark学习---6、SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）（二）
Spark学习---6、SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）（二）
星光下的赶路人
85 1
星光下的赶路人
|
4月前
|
消息中间件 分布式计算 Kafka
Spark学习---6、SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）（一）
Spark学习---6、SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）（一）
星光下的赶路人
75 0
embelfe_segge
|
4月前
|
消息中间件 SQL 分布式计算
Spark分布式计算框架之SparkStreaming+kafka
Spark分布式计算框架之SparkStreaming+kafka
embelfe_segge
51 0
离原
|
10月前
|
消息中间件 分布式计算 关系型数据库
流式读取热搜词汇并解析，urllib+Kafka+Spark
紧接上文，本次对于上次的优化是增加了kafka的插件，用简单消费者和生产者在本地window系统完成模拟，每五分钟爬取一次百度热搜，条数基本为145条，然后消费者来消费数据，写入到spark，下次的优化应该就是从sparksql转化为sparkstreaming，并直接整合kafka，而不是中间转row再写入。
离原
70 0
about云
|
11月前
|
SQL 消息中间件 分布式计算
如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
about云
501 0
如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
游客yno6xv7miabmw
|
12月前
|
消息中间件 分布式计算 Kafka
Spark Streaming实时流处理项目实战笔记——使用KafkaSInk将Flume收集到的数据输出到Kafka
Spark Streaming实时流处理项目实战笔记——使用KafkaSInk将Flume收集到的数据输出到Kafka
游客yno6xv7miabmw
116 0
游客yno6xv7miabmw
|
12月前
|
消息中间件 分布式计算 Java
Spark Streaming实时流处理项目实战笔记——Kafka Consumer Java API编程
Spark Streaming实时流处理项目实战笔记——Kafka Consumer Java API编程
游客yno6xv7miabmw
117 0
热门文章
最新文章
1
Mac Kafka可视化工具（kafkatool）
2
Canal+Kafka实现MySQL与Redis数据同步（一）
3
Canal+Kafka实现MySQL与Redis数据同步（二）
4
Kafka 集群如何实现数据同步？
5
Kafka 在分布式系统中的 7 大应用场景
6
将Apache Flink任务实时消费Kafka窗口的计算改为MaxCompute
7
一文教你理解Kafka offset
8
kafka 动态扩容现有 topic 的分区数和副本数
9
RabbitMQ vs Kafka：正面交锋（2）
10
微服务轮子项目（34） -Kafka
1
Spark SQL案例【电商购买数据分析】
23
2
Spark 【分区与并行度】
21
3
Spark SQL【基于泰坦尼克号生还数据的 Spark 数据分析处理】
23
4
Spark【Spark SQL（四）UDF函数和UDAF函数】
13
5
Spark【RDD编程（四）综合案例】
25
6
Spark【RDD编程（三）键值对RDD】
28
7
Spark【RDD编程（二）RDD编程基础】
32
8
Spark 【RDD编程（一）RDD编程基础】
14
9
Spark入门（一篇就够了）（三）
73
10
Spark入门（一篇就够了）（二）
46
相关课程
更多
分布式消息系统 Kafka 快速入门 大数据实时计算框架Spark快速入门 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
相关电子书
更多
Hybrid Cloud and Apache Spark Scalable Deep Learning on Spark Comparison of Spark SQL with Hive
推荐文章
更多
重磅来袭！参与评测赢Iphone14 pro！ 文件存储NAS评测征集令！ 招募！寻找技术人的伯乐！ 乘风者计划邀您入驻社区，精彩权益即刻享
下一篇
手动搭建WordPress（CentOS 8）
为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告
产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理
解决方案技术解决方案
文档与社区文档开发者社区天池大赛培训与认证
权益中心免费试用高校计划企业扶持计划推荐返现计划
支持与服务基础服务企业增值服务迁云服务官网公告系统状态信任中心
关注阿里云
关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务
阿里云APP阿里云微信
售前咨询：95187-1
售后服务：400-80-13260
法律声明及隐私权政策Cookies政策廉正举报安全举报联系我们加入我们
阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么
© 2009-2023 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015
浙公网安备 33010602009975号浙B2-20080101-4
关注我们：
新浪微博
联系我们
© 2009-2023 Aliyun.com 版权所有<br/>增值电信业务经营许可证： <a href="http://beian.miit.gov.cn/" target="_blank">浙B2-20080101</a> <br/>域名注册服务机构许可： <a href="https://domain.miit.gov.cn/域名注册服务机构/互联网域名/阿里云计算有限公司 " target="_blank">浙D3-20210002</a> <a href="https://domain.miit.gov.cn/域名注册服务机构/互联网域名/阿里巴巴云计算北京有限公司 " target="_blank">京D3-20220015</a>