- 概念
关联
初始化streamingcontext
离散流
输入dstream
dstream的转化
dstream的输出操作
缓存或者持久化
checkpointing
部署应用程序
监控应用程序 - 性能调优
减少批数据的执行事件
设置正确的批容量
内存调优 - 容错语义
Spark-spark streaming
2016-04-21
956
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
概念 关联 初始化streamingcontext 离散流 输入dstream dstream的转化 dstream的输出操作 缓存或者持久化 checkpointing 部署应用程序 监控应用程序性能调优 减少批...
目录
相关文章
|
7月前
|
消息中间件
分布式计算
Kafka
|
1月前
|
分布式计算
大数据
Apache
【大数据技术】流数据、流计算、Spark Streaming、DStream的讲解（图文解释 超详细）
【大数据技术】流数据、流计算、Spark Streaming、DStream的讲解（图文解释 超详细）
79
0
0
|
5天前
|
分布式计算
Java
Scala
|
1月前
|
分布式计算
关系型数据库
MySQL
|
1月前
|
存储
消息中间件
分布式计算
|
1月前
|
分布式计算
大数据
数据处理
|
1月前
|
存储
分布式计算
Spark
|
1月前
|
分布式计算
监控
数据处理
|
1月前
|
分布式计算
数据处理
Apache
|
1月前
|
消息中间件
分布式计算
Kafka
热门文章
最新文章
1
图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
2
Spark如何对源端数据做切分？
3
spark开发环境安装配置
4
Spark Packages寻宝（一）：简单易用的数据准备工具Optimus
5
spark-streaming-kafka-0-8 官网讲解
6
Spark 分析网站排名热度
7
NEC新技术带来比Apach Spark快50倍的机器学习能力
8
2 分钟读懂大数据框架 Hadoop 和 Spark 的异同
9
hadoop/spark节点动态调整
10
流式大数据处理的三种框架：Storm，Spark和Samza
1
如何解决Spark在深度学习中的资源消耗问题？
35
2
Spark在深度学习中的优缺点是什么？
42
3
使用Spark进行机器学习
24
4
Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
42
5
【Spark】Spark基础教程知识点
27
6
DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
28
7
MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
100
8
MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
28
9
数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
199
10
[AIGC大数据基础] Spark 入门
231