Eclipse 配置运行Spark

简介: 本文主要记录Spark 在 Eclipse中报 找不到主类的问题。在新建Spark工程,然后add external jars 选择 spark-assembly-1.4.0-hadoop2.6.0.jar 之后,项目工程会出现一个红色的小×,然后发现在 problems中报错:Descripti...

本文主要记录Spark 在 Eclipse中报 找不到主类的问题。在新建Spark工程,然后add external jars 选择 spark-assembly-1.4.0-hadoop2.6.0.jar 之后,项目工程会出现一个红色的小×,然后发现在 problems中报错:

Description Resource Path Location Type
More than one scala library found in the build path (E:/scalaIDE/eclipse/plugins/org.scala-lang.scala-library_2.12.2.v20170412-161608-VFINAL-21d12e9.jar, D:/spark/spark-1.4.0-bin-hadoop2.6/lib/spark-assembly-1.4.0-hadoop2.6.0.jar).At least one has an incompatible version. Please update the project build path so it contains only one compatible scala library. ScalaProject Unknown Scala Classpath Problem

这个错误主要是由于 本地的scala与spark所带的scala冲突导致的。所以我们首先需要将本地的scala删除,右键 scala library container,然后选择build path,remove from build path 即可。此时,可能会发现工程有一个黄色的感叹号。再右键 run as,scala application,结果发现problems中报错:

Description Resource Path Location Type
The version of scala library found in the build path of ScalaProject (2.10.4) is prior to the one provided by scala IDE (2.12.2). Setting a Scala Installation Choice to match. ScalaProject Unknown Scala Version Problem
这里是说,spark 所带的scala 版本与 scala IDE 所提供的版本不一致(spark 的scala 版本更老一些),所以我们需要工程右键,选择properties,然后选择 scala compiler,勾选 use project settings,选择合适的 scala 版本,因为我的spark 带的scala版本比较老,所以这里我选择 latest 2.10 bundle(dynamic),选择apply,OK之后。一切就大功告成了。此时,可以写一个spark的的wordcount,发现就成功运行啦。

PS:这么一个小小的问题,折腾了我好几个小时,最主要原因就是我一直搜报错:找不到主类,这并没有解决我的问题。后来我去看problems,搜索英文的报错,一下子就找到解决的办法了。这说明以后程序出现问题还是尽量搜索英文吧,多去stackoverflow搜索提问,也许会使问题得到更快的解决。

热爱编程,热爱机器学习! github:http://www.github.com/Lyrichu github blog:http://Lyrichu.github.io 个人博客站点:http://www.movieb2b.com(不再维护)
目录
相关文章
|
5月前
|
开发工具 Android开发 git
【dbeaver】Eclipse 运行 dbeaver 源码
【dbeaver】Eclipse 运行 dbeaver 源码
444 0
|
5月前
|
Java Linux 开发工具
怎样下载安装Eclipse并配置开发环境?
Eclipse是一款非常流行的Java开发工具,它本身是开源的,适合多种多样的开发场景,深受Java开发者们的喜爱。今天我就跟大家介绍一下如何下载安装Eclipse,以及如何配置Eclipse的开发环境。
148 0
|
5月前
|
Java Maven Android开发
在Eclipse里配置Maven插件
Maven是一款比较常用的Java开发拓展包,它相当于一个全自动jar包管理器,会导入用户开发时需要使用的相应jar包。使用Maven开发Java程序,可以极大提升开发者的开发效率。下面我就跟大家介绍一下如何在Eclipse里安装和配置Maven插件。
138 0
|
5月前
|
分布式计算 监控 Spark
Spark 任务运行时日志分析
Spark 任务运行时日志分析
90 0
|
13天前
|
分布式计算 大数据 Java
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
13 1
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
|
8天前
|
Java Android开发 开发者
【编程进阶知识】精细调控:掌握Eclipse JVM参数配置的艺术
本文详细介绍了如何在Eclipse中配置JVM参数,包括内存的初始和最大值设置。通过具体步骤和截图演示,帮助开发者掌握JVM参数的精细调控,以适应不同的开发和测试需求。
25 1
|
5月前
|
存储 Java 开发工具
在Eclipse配置安装Android详细教程(新手)
在Eclipse配置安装Android详细教程(新手)
142 1
|
3月前
|
SQL 弹性计算 资源调度
云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
云服务器ECS(Elastic Compute Service)是各大云服务商阿里云提供的一种基础云计算服务,它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。
WXM
|
3月前
|
Java 应用服务中间件 网络安全
Eclipse运行SSM/SSH项目教程
Eclipse运行SSM/SSH项目教程
WXM
110 0
|
4月前
|
分布式计算 DataWorks 网络安全
DataWorks操作报错合集之还未运行,spark节点一直报错,如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

推荐镜像

更多