《From Spark Streaming to Structured Streaming》From Spark Streaming to Structured Streaming
电子书：
</div>《From Spark Streaming to Structured Streaming》电子版地址
2023-01-13
62
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
From Spark Streaming to Structured Streaming
目录
相关文章
|
存储
SQL
消息中间件
实战|使用Spark Structured Streaming写入Hudi
传统数仓的组织架构是针对离线数据的OLAP（联机事务分析）需求设计的，常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入数仓。随着数据分析对实时性要求的不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的（准）实时同步系统的开发。
820
0
0
|
2月前
|
存储
分布式计算
Spark
|
8月前
|
消息中间件
机器学习/深度学习
分布式计算
|
分布式计算
监控
网络协议
|
消息中间件
分布式计算
Java
【Spark Streaming】（五）Spark Streaming 与 Kafka 集成实战！
【Spark Streaming】（五）Spark Streaming 与 Kafka 集成实战！
412
0
1
|
消息中间件
分布式计算
网络协议
Spark-Streaming的学习使用
SparkStreaming
Spark Streaming可以轻松构建可扩展的容错流应用程序。
便于使用
把之前学过的处理离线数据的算子直接拿来使用
容错
sparkStreaming可以保证数据被消费一次
保证不丢失，不重复消费数据。
集成
112
0
0
|
SQL
消息中间件
Kafka
Flink 必知必会经典课程2：Stream Processing with Apache Flink
本篇内容包含三部分展开介绍Stream Processing with Apache Flink：1、并行处理和编程范式；2、DataStream API概览及简单应用；3、 Flink 中的状态和时间。
1460
0
2
|
存储
分布式计算
调度
Spark Streaming 原理剖析
2063
0
1
|
存储
分布式计算
Apache
Spark Streaming 框架在 5G 中的应用
在发展 5G 和 IoT 场景的准备阶段，爱立信研究了各种可扩展和灵活的流处理框架，以解决数据流水线问题以及提升整体性能。我们通过机器学习流数据进行自适应学习和智能决策从而实现各个领域的自动化。其中使用机器学习算法从流数据中逐步学习模型和获取信息是一个巨大的挑战。
1928
0
0
【译】Spark Streaming 框架在 5G 中的应用
原文链接: Applying the Spark Streaming framework to 5G
我们已经很长时间没有更新流处理框架的相关博客（apache-storm-vs-spark-streaming 和 apache-storm-performance-tuners），这次想分享一下我们关于当前流处理引擎及其在 5G 和 IoT 场景适用性的一些观点。
1419
0
0