原文
window环境下安装spark
这个非常成功
https://zhuanlan.zhihu.com/p/149469688
加上参考
完善：在Windows上安装Apache Spark
Apache Spark是一个强大的开源分布式计算框架，通常用于大数据处理和分析。尽管Spark的主要受众是Linux和macOS用户，但在Windows上安装和运行它也是可能的。本文讲解Windows环境中安装Apache Spark的大致步骤。
步骤1：准备工作
在开始安装之前，你需要完成以下准备工作：
安装Java（可参考博客后面，安装的详细步骤）
Apache Spark需要Java的支持。确保你已经安装了Java运行时环境（JRE）。你可以从Oracle官方网站下载JRE的Windows版本。
安装Hadoop WinUtils
Spark依赖Hadoop，并且在Windows上运行Spark需要Hadoop的一些本地库。你可以从GitHub上获取WinUtils。
下载WinUtils并解压它到一个目录，然后设置HADOOP_HOME环境变量，指向这个目录。
步骤2：下载Spark
- 访问
[Apache Spark下载页面](https://spark.apache.org/downloads.html)。 - 在"Pre-built for Hadoop"下，选择一个Spark版本，然后在"Download"列下点击链接以下载二进制文件。
- 下载完成后，将文件解压到你选择的目录。你可以使用工具如7-Zip来解压。
步骤3：配置环境变量
要在Windows上正确运行Spark，你需要配置一些环境变量。打开系统属性的高级系统设置。
- 在"高级"选项卡下，点击"环境变量"按钮。
- 在"系统变量"部分，点击"新建"按钮。
- 创建一个名为
SPARK_HOME的新系统变量，值设置为你Spark的安装目录的路径，例如C:\spark。 - 创建一个名为
HADOOP_HOME的系统变量，值设置为你WinUtils的安装目录的路径，例如C:\hadoop. - 在"系统变量"中，找到
Path，点击"编辑"。 - 添加
%SPARK_HOME%\bin到Path中，以便你可以在命令提示符中运行Spark命令。 - 点击"确定"保存所有更改。
步骤4：运行Spark
现在，你已经完成了安装和配置的所有步骤，你可以启动Spark并开始使用它。
- 打开命令提示符。
- 输入以下命令以启动Spark Shell：
spark-shell
这将启动Spark Shell，允许你在交互式环境中使用Spark。
- 或者，你也可以启动PySpark Shell来使用Python：
pyspark
- 你现在可以开始使用Apache Spark在Windows上进行大数据处理了。
结论
尽管Apache Spark主要用于Linux和macOS，但在Windows上也可以进行安装和使用。这篇博客向你展示了如何在Windows环境下安装Apache Spark。确保你已经按照上述步骤配置了所有必需的环境变量，以确保Spark能够正常运行。
请注意，Windows下的Spark可能会有一些限制，尤其是在集群环境中。如果你打算在生产环境中使用Spark，建议考虑使用Linux或macOS。
希望这篇文章对你有所帮助，让你能够顺利在Windows上安装和使用Apache Spark。如果你需要更多详细信息或遇到问题，可以查阅[Apache Spark官方文档](https://spark.apache.org/documentation.html)。
Windows系统上安装Java
在Windows系统上安装Java的步骤相对简单，以下是详细的步骤：
步骤1：下载Java
- 访问
[Oracle官方Java下载页面](https://www.oracle.com/java/technologies/javase-downloads.html)。 - 在"Oracle JDK"部分，你可以找到不同版本的Java。通常，你可以选择
Java SE Development Kit。选择适合你的操作系统的版本（Windows 64-bit或32-bit）。 - 点击"下载"按钮，你可能需要同意Oracle的许可协议。
- 如果你没有Oracle账户，你可能需要注册一个免费的账户，才能继续下载。
步骤2：安装Java
- 下载完成后，运行安装程序（
.exe文件）。 - 在安装向导中，按照默认设置进行安装。你可以选择自定义安装选项，但通常默认设置足够了。
- 点击"安装"按钮，开始安装过程。
- 安装完成后，你可以关闭安装程序。
步骤3：配置环境变量
为了在命令行中能够使用Java，你需要配置系统环境变量。
- 搜索"环境变量"并点击"编辑系统环境变量"。
- 在系统属性窗口中，点击"环境变量"按钮。
- 在"系统变量"下，找到名为"Path"的变量，然后点击"编辑"。
- 在"编辑环境变量"窗口中，点击"新建"按钮。
- 添加Java的安装路径到新的环境变量中。默认情况下，Java安装在
C:\Program Files\Java目录中，例如C:\Program Files\Java\jdk1.8.0_221\bin。 - 点击"确定"来保存新的环境变量。
- 回到"环境变量"窗口，点击"新建"按钮。
- 创建一个名为
JAVA_HOME的环境变量，值为Java的安装目录，例如C:\Program Files\Java\jdk1.8.0_221. - 点击"确定"来保存
JAVA_HOME变量。
步骤4：验证安装
- 打开命令提示符（Command Prompt）。
- 输入以下命令来验证Java安装是否成功：
java -version
- 如果你看到Java版本信息，说明Java已经成功安装。
结论
这些是在Windows系统上安装Java的详细步骤。确保你按照上述步骤逐一执行，以确保成功安装Java。一旦安装成功，你就可以开始使用Java来运行Java应用程序、开发Java应用程序或运行与Java相关的工具。
希望这篇文章对你有所帮助！如果你在安装Java过程中遇到问题，可以在社区或官方文档中寻找更多信息。
