大数据体系知识学习（二）：WordCount案例实现及错误总结
这篇文章介绍了如何使用PySpark进行WordCount操作，包括环境配置、代码实现、运行结果和遇到的错误。作者在运行过程中遇到了Py4JJavaError和JAVA_HOME未设置的问题，并通过导入findspark初始化和设置环境变量解决了这些问题。文章还讨论了groupByKey和reduceByKey的区别。
Spark Standalone与YARN的区别？
【10月更文挑战第5天】随着大数据处理需求的增长，Apache Spark 成为了广泛采用的大数据处理框架。本文详细解析了 Spark Standalone 与 YARN 两种常见部署模式的区别，并通过示例代码展示了如何在不同模式下运行 Spark 应用程序。Standalone 模式自带轻量级集群管理，适合小规模集群或独立部署；YARN 则作为外部资源管理器，能够与 Hadoop 生态系统中的其他应用共享资源，更适合大规模生产环境。文章对比了两者的资源管理、部署灵活性、扩展性和集成能力，帮助读者根据需求选择合适的部署模式。