Spark Streaming实时流处理学习
2018-09-02
2199
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
17天前
|
分布式计算
Shell
Scala
|
19天前
|
分布式计算
Shell
Scala
|
5天前
|
分布式计算
Java
Apache
Apache Spark Streaming技术深度解析
【9月更文挑战第4天】Apache Spark Streaming是Apache Spark生态系统中用于处理实时数据流的一个重要组件。它将输入数据分成小批次（micro-batch），然后利用Spark的批处理引擎进行处理，从而结合了批处理和流处理的优点。这种处理方式使得Spark Streaming既能够保持高吞吐量，又能够处理实时数据流。
18
0
0
|
1月前
|
分布式计算
Apache
数据安全/隐私保护
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
37
1
1
|
1月前
|
分布式计算
资源调度
测试技术
“Spark Streaming异常处理秘籍：揭秘如何驯服实时数据流的猛兽，守护你的应用稳如泰山，不容错过！”
【8月更文挑战第7天】Spark Streaming 是 Apache Spark 中的关键组件，用于实时数据流处理。部署时可能遭遇数据问题、资源限制或逻辑错误等异常。合理处理这些异常对于保持应用稳定性至关重要。基础在于理解其异常处理机制，通过 DSC 将数据流切分为 RDD。对于数据异常，可采用 try-catch 结构捕获并处理；资源层面异常需优化 Spark 配置，如调整内存分配；逻辑异常则需加强单元测试及集成测试。结合监控工具，可全面提升应用的健壮性和可靠性。
57
3
3
|
3月前
|
分布式计算
Java
Scala
|
2月前
|
分布式计算
监控
数据处理
Spark Streaming：解锁实时数据处理的力量
【7月更文挑战第15天】Spark Streaming作为Spark框架的一个重要组成部分，为实时数据处理提供了高效、可扩展的解决方案。通过其微批处理的工作模式和强大的集成性、容错性特性，Spark Streaming能够轻松应对各种复杂的实时数据处理场景。然而，在实际应用中，我们还需要根据具体需求和资源情况进行合理的部署和优化，以确保系统的稳定性和高效性。
76
6
6
|
2月前
|
分布式计算
Apache
Spark
|
2月前
|
机器学习/深度学习
分布式计算
算法
Spark快速大数据分析PDF下载读书分享推荐
《Spark快速大数据分析》适合初学者，聚焦Spark实用技巧，同时深入核心概念。作者团队来自Databricks，书中详述Spark 3.0新特性，结合机器学习展示大数据分析。Spark是大数据分析的首选工具，本书助你驾驭这一利器。[PDF下载链接][1]。
![Spark Book Cover][2]
[1]: https://zhangfeidezhu.com/?p=345
[2]: https://i-blog.csdnimg.cn/direct/6b851489ad1944548602766ea9d62136.png#pic_center
111
1
1
|
1月前
|
分布式计算
资源调度
大数据
【决战大数据之巅】：Spark Standalone VS YARN —— 揭秘两大部署模式的恩怨情仇与终极对决！
【8月更文挑战第7天】随着大数据需求的增长，Apache Spark 成为关键框架。本文对比了常见的 Spark Standalone 与 YARN 部署模式。Standalone 作为自带的轻量级集群管理服务，易于设置，适用于小规模或独立部署；而 YARN 作为 Hadoop 的资源管理系统，支持资源的统一管理和调度，更适合大规模生产环境及多框架集成。我们将通过示例代码展示如何在这两种模式下运行 Spark 应用程序。
139
3
3
热门文章
最新文章
1
Spark-理解RDD
2
Spark Core概念学习系列之Spark Core（十四）
3
附录A Spark2.1核心工具类Utils
4
Spark-ML-01-小试spark分析离线商品信息
5
spark集群配置
6
Spark shuffle详细过程
7
Spark-神奇的共享变量
8
跟我一起数据挖掘（22）——spark入门
9
重磅解读：基于Occlum和BigDL构建端到端的安全分布式Spark大数据分析方案
10
[Spark][Python]Spark Python 索引页
1
如何解决Spark在深度学习中的资源消耗问题？
64
2
Spark在深度学习中的优缺点是什么？
138
3
使用Spark进行机器学习
47
4
Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
89
5
【Spark】Spark基础教程知识点
52
6
DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
107
7
MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
129
8
MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
52
9
数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
573
10
[AIGC大数据基础] Spark 入门
282