从 Spark Streaming 到 Structured Streaming
Spark Streaming 介绍
- 数据模型
- 容错处理
- 扩展性、吞吐量分析
Google Dataflow 介绍
- Dataflow 设计思想介绍
Structured Streaming 介绍
- 设计思想
- 编程模型
- API 介绍
- 一致性语义分析
- Continuous Processing Mode 介绍
详情请查看附件
欢迎加入钉钉群收看直播回放
入群方式：
Apache Spark 系列技术直播 - 从 Spark Streaming 到 Structured Streaming
2018-12-05
2106
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
从 Spark Streaming 到 Structured Streaming
Spark Streaming 介绍
数据模型
容错处理
扩展性、吞吐量分析
Google Dataflow 介绍
Dataflow 设计思想介绍Structured Streaming 介绍
设计思想
编程模型
A.
目录
相关文章
|
11月前
|
消息中间件
分布式计算
NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
164
0
0
|
11月前
|
消息中间件
存储
分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
211
0
0
|
11月前
|
分布式计算
大数据
Apache
利用.NET进行大数据处理：Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力，Apache Spark作为高效的大数据处理引擎，广受青睐。然而，.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark，展示如何通过C#和F#等.NET语言，结合Spark的强大功能进行大数据处理，简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作，突显了.NET for Apache Spark的易用性和强大功能。
281
1
1
|
10月前
|
分布式计算
流计算
Spark
【赵渝强老师】Spark Streaming中的DStream
本文介绍了Spark Streaming的核心概念DStream，即离散流。DStream通过时间间隔将连续的数据流转换为一系列不连续的RDD，再通过Transformation进行转换，实现流式数据的处理。文中以MyNetworkWordCount程序为例，展示了DStream生成RDD的过程，并附有视频讲解。
204
0
0
|
11月前
|
消息中间件
分布式计算
Kafka
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
143
0
0
|
9月前
|
存储
人工智能
大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰（莫问）在 Flink Forward Asia 2024 上海站主论坛开场的分享，今年正值 Flink 开源项目诞生的第 10 周年，借此时机，王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果，最后展望下一个十年 Flink 路向何方。
662
33
33
|
11月前
|
SQL
Java
API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布，这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进，包括存算分离状态管理、物化表、批作业自适应执行等，同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈，但不建议在生产环境中使用。
1464
13
13
|
6月前
|
SQL
存储
人工智能
Apache Flink 2.0.0: 实时数据处理的新纪元
Apache Flink 2.0.0 正式发布！这是自 Flink 1.0 发布九年以来的首次重大更新，凝聚了社区两年的努力。此版本引入分离式状态管理、物化表、流批统一等创新功能，优化云原生环境下的资源利用与性能表现，并强化了对人工智能工作流的支持。同时，Flink 2.0 对 API 和配置进行了全面清理，移除了过时组件，为未来的发展奠定了坚实基础。感谢 165 位贡献者的辛勤付出，共同推动实时计算进入新纪元！
749
1
1
|
11月前
|
存储
缓存
算法
分布式锁服务深度解析：以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中，多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性，我们需要一种机制来协调这些进程或节点的访问，避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制，确保同一时间只有一个进程或节点能够访问和操作共享资源。
387
3
3
热门文章
最新文章
1
Apache Doris 实时更新技术揭秘：为何在 OLAP 领域表现卓越？
2
Apache Flink 2.1.0: 面向实时 Data + AI 全面升级，开启智能流处理新纪元
3
智能运维与数据治理：基于 Apache Doris 的 Data Agent 解决方案
4
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
5
ApacheCon 2025中国开源年度报告：Apache Doris 国内第一
6
Apache Doris 2.1.10 版本正式发布
7
Apache Doris 4.0 AI 能力揭秘（一）：AI 函数之 LLM 函数介绍
8
Apache Flink 漫谈系列(10) - JOIN LATERAL
9
阿里云ECS服务器CentOS7上安装Apache服务
10
Apache suEXEC Privilege Elevation / Information Disclosure
1
“Spark Streaming异常处理秘籍：揭秘如何驯服实时数据流的猛兽，守护你的应用稳如泰山，不容错过！”
186
2
【决战大数据之巅】：Spark Standalone VS YARN —— 揭秘两大部署模式的恩怨情仇与终极对决！
603
3
Spark 与 Hadoop 的大数据之战：一场惊心动魄的技术较量，决定数据处理的霸权归属！
185
4
【Deepin 20系统】Linux 系统安装Spark教程及使用
258
5
云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
151
6
【开发者评测】E-MapReduce Serverless Spark获奖名单
253
7
Hadoop与Spark在大数据处理中的对比
567
8
在hue上部署spark作业
304
9
Python与Apache Spark：实时AI的大数据引擎——Spark Streaming实战
392
10
MaxCompute操作报错合集之 Spark Local模式启动报错，是什么原因
164