本节书摘来自华章社区《Spark大数据分析实战》一书中的第1章Spark简介，作者高彦杰 倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看
第1章
Spark简介
本章主要介绍Spark框架的概念、生态系统、架构及RDD等，并围绕Spark的BDAS 项目及其子项目进行了简要介绍。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，本章只进行简要介绍，后续章节会有详细阐述。
《Spark大数据分析实战》——第1章Spark简介
2017-05-02
1281
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
2月前
|
SQL
机器学习/深度学习
分布式计算
|
28天前
|
分布式计算
Hadoop
大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
345
1
1
|
2天前
|
消息中间件
分布式计算
大数据
|
8天前
|
监控
大数据
数据处理
大数据组件之Storm简介
【5月更文挑战第2天】Apache Storm是用于实时大数据处理的分布式系统，提供容错和高可用的实时计算。核心概念包括Topology（由Spouts和Bolts构成的DAG）、Spouts（数据源）和Bolts（数据处理器）。Storm通过acker机制确保数据完整性。常见问题包括数据丢失、性能瓶颈和容错理解不足。避免这些问题的方法包括深入学习架构、监控日志、性能调优和编写健壮逻辑。示例展示了实现单词计数的简单Topology。进阶话题涵盖数据延迟、倾斜的处理，以及Trident状态管理和高级实践，强调调试、性能优化和数据安全性。
21
4
4
|
11天前
|
分布式计算
DataWorks
大数据
MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
MaxCompute是阿里云提供的大规模离线数据处理服务，用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时，可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
22
1
1
|
11天前
|
SQL
分布式计算
大数据
MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务，用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时，可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
23
1
1
|
16天前
|
分布式计算
大数据
数据处理
|
2月前
|
存储
分布式计算
Spark
|
2月前
|
分布式计算
Spark
Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
【2月更文挑战第14天】Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
34
1
1
|
3月前
|
数据可视化
数据挖掘
大数据
Python中的数据分析与可视化库Matplotlib简介
在当前大数据时代，数据分析和可视化成为了技术领域的热门话题。Python作为一门流行的编程语言，拥有丰富的数据处理和可视化库，其中Matplotlib是其中的佼佼者。本文将介绍Matplotlib库的基本概念、功能特点以及在数据分析与可视化中的应用。
29
0
0
热门文章
最新文章
1
【Flink】Flink跟Spark Streaming的区别？
2
Paimon与Spark
3
阿里云 MaxCompute MaxFrame 开启免费邀测，统一 Python 开发生态
4
数据之势丨从“看数”到“用数”，百年制造企业用大数据实现“降本增效”
5
利用Hive与Hadoop构建大数据仓库：从零到一
6
一文解析 ODPS SQL 任务优化方法原理
7
Azure Databricks实战：在云上轻松进行大数据分析与AI开发
8
大数据处理架构Hadoop
9
大数据技术与Python：结合Spark和Hadoop进行分布式计算
10
【Flume】Flume在大数据分析领域的应用
1
Python数据分析（二）—— Pandas快速入门
70
2
Python数据分析（一）—— Numpy快速入门
55
3
从零到精通：学习这些R语言必学包成为数据分析高手！
43
4
探索性数据分析
25
5
利用Python进行数据分析的基本步骤与技巧
29
6
数据分析实战-Python实现博客评论数据的情感分析
144
7
Arm 发布 Neoverse 新品：数据分析性能提升 196%，奠定未来计算及 AI 的基石
308
8
python数据分析——在面对各种问题时，因如何做分析的分类汇总
87
9
python数据分析——时间序列
49
10
python数据分析——数据的选择和运算
49