如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】

简介: 如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】

方法


当我们安装spark的时候,很多时候都会遇到这个问题,如何找到对应spark的各个组件的版本,找到比较标准的版本兼容信息。答案在spark源码中的pom文件。首先我们从官网下载源码。进入官网

http://spark.apache.org

选择download,然后我们看到下面内容


# Master development branch
git clone git://github.com/apache/spark.git
# Maintenance branch with stability fixes on top of Spark 2.2.0
git clone git://github.com/apache/spark.git -b branch-2.2

a4a3eb89626319ec41dab05dee81913e.jpg

我们看到上面需要使用git下载。

如果你是window,那么可以装一个Linux虚拟机,或则直接在window上安装。window安装遇到的问题可参考

win7安装 git软件下载以及遇到的问题解决解决方法

http://www.aboutyun.com/forum.php?mod=viewthread&tid=8521

这里使用Linux安装,更加方便。执行下面命令



sudo yum install perl openssh git -y

上面安装完毕,下载源码


git clone git://github.com/apache/spark.git

当然如果你不想这么麻烦,只想查看pom.xml文件,也可以直接访问


github.com/apache/spark.git

然后打开pom.xml即可


https://github.com/apache/spark/blob/master/pom.xml

这时候我们可以查看里面的兼容信息spark的版本为2.3.0-SNAPSHOT

82a228a4794b90f9005e7d08b4559d05.jpg

接着我们找到里面有各种所需软件的信息,比如

jdk1.8,hadoop位2.6.5,2.7.1,2.7.3。

flume版本为flume1.6.0,

zookeeper版本为3.4.6

hive为:1.2.1

scala为:2.11.8



这样我们在安装的时候就找到它们版本兼容的依据。

当然官网提供一种编译的版本,剩下的需要我们自己编译。下一篇我们讲该如何编译我们想要的版本。

17765d362467405a4d1af923970f294f.jpg

这里需要说明的一个地方即maven的profile,是为了适应不同的版本。我们在编译的时候,可以通过-P指定版本


4db3af948fdce2c12208704dbf335193.jpg

目录
相关文章
|
21天前
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
31 0
|
21天前
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
58 0
|
21天前
|
消息中间件 分布式计算 Kafka
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
46 0
|
21天前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
23 0
|
21天前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
46 0
|
1天前
|
SQL 机器学习/深度学习 分布式计算
Spark快速上手:揭秘大数据处理的高效秘密,让你轻松应对海量数据
【10月更文挑战第25天】本文全面介绍了大数据处理框架 Spark,涵盖其基本概念、安装配置、编程模型及实际应用。Spark 是一个高效的分布式计算平台,支持批处理、实时流处理、SQL 查询和机器学习等任务。通过详细的技术综述和示例代码,帮助读者快速掌握 Spark 的核心技能。
12 6
|
23小时前
|
分布式计算 大数据 OLAP
AnalyticDB与大数据生态集成:Spark & Flink
【10月更文挑战第25天】在大数据时代,实时数据处理和分析变得越来越重要。AnalyticDB(ADB)是阿里云推出的一款完全托管的实时数据仓库服务,支持PB级数据的实时分析。为了充分发挥AnalyticDB的潜力,将其与大数据处理工具如Apache Spark和Apache Flink集成是非常必要的。本文将从我个人的角度出发,分享如何将AnalyticDB与Spark和Flink集成,构建端到端的大数据处理流水线,实现数据的实时分析和处理。
9 1
|
11天前
|
分布式计算 大数据 Apache
利用.NET进行大数据处理:Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力,Apache Spark作为高效的大数据处理引擎,广受青睐。然而,.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark,展示如何通过C#和F#等.NET语言,结合Spark的强大功能进行大数据处理,简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作,突显了.NET for Apache Spark的易用性和强大功能。
25 1

热门文章

最新文章