《# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】》# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】
电子书：
</div>《# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】》电子版地址
2022-12-16
111
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】
目录
相关文章
|
10天前
|
存储
分布式计算
并行计算
【赵渝强老师】Spark中的RDD
RDD（弹性分布式数据集）是Spark的核心数据模型，支持分布式并行计算。RDD由分区组成，每个分区由Spark Worker节点处理，具备自动容错、位置感知调度和缓存机制等特性。通过创建RDD，可以指定分区数量，并实现计算函数、依赖关系、分区器和优先位置列表等功能。视频讲解和示例代码进一步详细介绍了RDD的组成和特性。
25
0
0
|
1月前
|
SQL
消息中间件
分布式计算
大数据-84 Spark 集群 RDD创建 RDD-Transformation操作算子 详解(一)
大数据-84 Spark 集群 RDD创建 RDD-Transformation操作算子 详解(一)
42
5
5
|
1月前
|
分布式计算
大数据
数据处理
大数据-84 Spark 集群 RDD创建 RDD-Transformation操作算子 详解(二)
大数据-84 Spark 集群 RDD创建 RDD-Transformation操作算子 详解(二)
39
4
4
|
1月前
|
存储
缓存
分布式计算
|
17天前
|
监控
Cloud Native
BI
8+ 典型分析场景，25+ 标杆案例，Apache Doris 和 SelectDB 精选案例集（2024版）电子版上线
飞轮科技正式推出 Apache Doris 和 SelectDB 精选案例集 ——《走向现代化的数据仓库（2024 版）》，汇聚了来自各行各业的成功案例与实践经验。该书以行业为划分标准，辅以使用场景标签，旨在为读者提供一个高度整合、全面涵盖、分类清晰且易于查阅的学习资源库。
45
8
8
|
2月前
|
消息中间件
资源调度
API
Apache Flink 流批融合技术介绍
本文源自阿里云高级研发工程师周云峰在Apache Asia Community OverCode 2024的分享，内容涵盖从“流批一体”到“流批融合”的演进、技术解决方案及社区进展。流批一体已在API、算子和引擎层面实现统一，但用户仍需手动配置作业模式。流批融合旨在通过动态调整优化策略，自动适应不同场景需求。文章详细介绍了如何通过量化指标（如isProcessingBacklog和isInsertOnly）实现这一目标，并展示了针对不同场景的具体优化措施。此外，还概述了社区当前进展及未来规划，包括将优化方案推向Flink社区、动态调整算子流程结构等。
395
31
33
|
1月前
|
存储
分布式计算
druid
|
30天前
|
分布式计算
大数据
Apache
利用.NET进行大数据处理：Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力，Apache Spark作为高效的大数据处理引擎，广受青睐。然而，.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark，展示如何通过C#和F#等.NET语言，结合Spark的强大功能进行大数据处理，简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作，突显了.NET for Apache Spark的易用性和强大功能。
37
1
1
|
1月前
|
存储
缓存
分布式计算
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
42
4
4
|
1月前
|
JSON
分布式计算
大数据
大数据-85 Spark 集群 RDD创建 RDD-Action Key-Value RDD详解 RDD的文件输入输出
大数据-85 Spark 集群 RDD创建 RDD-Action Key-Value RDD详解 RDD的文件输入输出
31
1
1
热门文章
最新文章
1
详解Apache Hudi如何配置各种类型分区
2
RHEL 5不能安装Apache
3
Apache Kafka开发入门指南
4
AB（apache benchmark）压力测试
5
apache htpasswd命令
6
Julien Nioche谈Apache Nutch 2的特性及产品路线图
7
如何设置Apache中的最大连接数
8
Apache + Tomcat 配置负载均衡
9
从零开始玩转JMX(四)——Apache Commons Modeler & Dynamic MBean
10
Apache Dubbo 被曝出“高危”远程代码执行漏洞
1
DAG（有向无环图）在Spark中的应用
430
2
scala-spark中的groupby、like等的用法
222
3
spark执行sql的原理是什么
124
4
容器服务Kubernetes版产品使用合集之怎么实现把 spark 跑在k8s
87
5
spark用于分析数据并将数据保存到数据库中是
70
6
数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
88
7
如何解决Spark在深度学习中的资源消耗问题？
88
8
Spark在深度学习中的优缺点是什么？
234
9
使用Spark进行机器学习
71
10
Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
132