本节书摘来自华章社区《Spark大数据分析实战》一书中的第2章Spark开发与环境配置，作者高彦杰 倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看
第2章
Spark开发与环境配置
用户进行Spark应用程序开发，一般在用户本地进行单机开发调试，之后再将作业提交到集群生产环境中运行。下面将介绍Spark开发环境的配置，如何编译和进行源码阅读环境的配置。
用户可以在官网上下载最新的AS软件包，网址为：http://spark.apache.org/。
《Spark大数据分析实战》——第2章Spark开发与环境配置
2017-05-02
1619
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
4月前
|
机器学习/深度学习
SQL
分布式计算
|
1月前
|
分布式计算
Hadoop
大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
352
1
1
|
4月前
|
机器学习/深度学习
SQL
分布式计算
|
14天前
|
分布式计算
DataWorks
大数据
MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
MaxCompute是阿里云提供的大规模离线数据处理服务，用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时，可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
23
1
1
|
14天前
|
SQL
分布式计算
大数据
MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务，用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时，可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
24
1
1
|
19天前
|
分布式计算
大数据
数据处理
|
2月前
|
存储
分布式计算
Spark
|
3月前
|
分布式计算
大数据
Java
|
4月前
|
分布式计算
Hadoop
大数据
|
4月前
|
分布式计算
监控
大数据
热门文章
最新文章
1
Python在数据分析中的应用及效益探究
2
四大触点，教你从“用户视角”构建数据分析体系
3
采用python的pyquery引擎做网页爬虫，进行数据分析
4
无需埋点的移动数据分析平台GrowingIO V1.0
5
美国国防部CIO：企业IT可考虑用开源做数据分析
6
产品经理二十章：数据分析能力
7
从零开始带你了解商业数据分析模型——线性回归模型实践演练
8
《R语言游戏数据分析与挖掘》一1.4 小结
9
Sqoop数据分析引擎安装与使用
10
数据分析系列剧第四集：行业研究报告与生产计划
1
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
139
2
安装Spark
37
3
Spark学习---day07、Spark内核（Shuffle、任务执行）
42
4
Spark读取变更Hudi数据集Schema实现分析
45
5
实战|使用Spark Streaming写入Hudi
57
6
adb spark的lakehouse api访问内表数据，还支持算子下推吗
108
7
Spark学习---day06、Spark内核（源码提交流程、任务执行）
44
8
Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
70
9
Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
34
10
Spark【基础知识 03】【RDD常用算子详解】（图片来源于网络）
60