本文转自博客园xingoo的博客，原文链接：《Spark快速大数据分析》—— 第三章 RDD编程，如需转载请自行联系原博主。
《Spark快速大数据分析》—— 第三章 RDD编程
2017-12-04
1136
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
1月前
|
存储
分布式计算
并行计算
【赵渝强老师】Spark中的RDD
RDD（弹性分布式数据集）是Spark的核心数据模型，支持分布式并行计算。RDD由分区组成，每个分区由Spark Worker节点处理，具备自动容错、位置感知调度和缓存机制等特性。通过创建RDD，可以指定分区数量，并实现计算函数、依赖关系、分区器和优先位置列表等功能。视频讲解和示例代码进一步详细介绍了RDD的组成和特性。
43
0
0
|
7天前
|
分布式计算
大数据
数据处理
技术评测：MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展，数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame（简称“MaxFrame”）是一个专为Python开发者设计的分布式计算框架，它不仅支持Python编程接口，还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评，探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现，并分析其在实际工作中的应用潜力。
34
2
3
|
1月前
|
SQL
数据挖掘
Python
数据分析编程：SQL,Python or SPL?
数据分析编程用什么，SQL、python or SPL?话不多说，直接上代码，对比明显，明眼人一看就明了：本案例涵盖五个数据分析任务：1) 计算用户会话次数；2) 球员连续得分分析；3) 连续三天活跃用户数统计；4) 新用户次日留存率计算；5) 股价涨跌幅分析。每个任务基于相应数据表进行处理和计算。
45
0
0
|
2月前
|
分布式计算
Java
大数据
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
45
0
0
|
2月前
|
消息中间件
分布式计算
Kafka
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
38
0
0
|
2月前
|
SQL
分布式计算
大数据
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
82
0
0
|
2月前
|
SQL
分布式计算
大数据
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
53
0
0
|
29天前
|
机器学习/深度学习
算法
数据挖掘
|
4月前
|
数据采集
数据可视化
数据挖掘
数据分析大神养成记：Python+Pandas+Matplotlib助你飞跃！
在数字化时代，数据分析至关重要，而Python凭借其强大的数据处理能力和丰富的库支持，已成为该领域的首选工具。Python作为基石，提供简洁语法和全面功能，适用于从数据预处理到高级分析的各种任务。Pandas库则像是神兵利器，其DataFrame结构让表格型数据的处理变得简单高效，支持数据的增删改查及复杂变换。配合Matplotlib这一数据可视化的魔法棒，能以直观图表展现数据分析结果。掌握这三大神器，你也能成为数据分析领域的高手！
93
2
2
|
4月前
|
机器学习/深度学习
数据采集
数据可视化
基于爬虫和机器学习的招聘数据分析与可视化系统，python django框架，前端bootstrap，机器学习有八种带有可视化大屏和后台
本文介绍了一个基于Python Django框架和Bootstrap前端技术，集成了机器学习算法和数据可视化的招聘数据分析与可视化系统，该系统通过爬虫技术获取职位信息，并使用多种机器学习模型进行薪资预测、职位匹配和趋势分析，提供了一个直观的可视化大屏和后台管理系统，以优化招聘策略并提升决策质量。
232
4
5
热门文章
最新文章
1
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
2
针对MaxCompute经典网络域名下线，Dataphin应对策略的公告
3
深入探索人工智能与大数据的融合之路
4
大数据时代的引擎：大数据架构随记
5
大数据& AI 产品月刊【2024年11月】
6
在大数据时代，高维数据处理成为难题，主成分分析（PCA）作为一种有效的数据降维技术，通过线性变换将数据投影到新的坐标系
7
智能化运维：AI与大数据在IT运维中的应用探索####
8
DataWorks产品评测：大数据开发治理平台的最佳实践与体验
9
聊聊DataWorks——这个一站式智能大数据开发治理平台
10
用户画像分析（MaxCompute简化版）
1
数据分析经典案例重现：使用DataWorks Notebook 实现Kaggle竞赛之房价预测，成为数据分析大神！
75
2
OLAP技术：数据分析的修仙秘籍初探
39
3
常用电商商品数据API接口（item get）概述，数据分析以及上货
29
4
公司监控软件：SAS 数据分析引擎驱动网络异常精准检测
31
5
这可能是最适合解决 SQL 数据分析痛点的编程语言
41
6
用户画像构建：年度数据分析的用户视角
40
7
方案实践测评 | DataWorks集成Hologres构建一站式高性能的OLAP数据分析
62
8
运营数据分析在企业管理中的重要性
54
9
数据看板制作工具评测：这6款工具能如何提升企业的数据分析效率？
54
10
使用Python进行数据分析的入门指南
69