开发者社区> 问答> 正文

在IntelliJ中运行如下Scala程序,可以正常出结果,但是打成jar包却总是报错?报错

代码如下:

package SQL

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import org.apache.spark.sql.SQLContext
import org.apache.log4j.{Level,Logger}

/**
  * Created by hduser on 16-3-9.
  */
object SparkSQL {


  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("SparkSQL Application").setMaster("local")
    val sc = new SparkContext(conf)

    val sqlContext = new org.apache.spark.sql.SQLContext(sc)

    import sqlContext.implicits._


        Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
        Logger.getLogger("org.apache.spark.sql").setLevel(Level.WARN)

    val df = sqlContext.read.json("/home/hduser/spark/examples/src/main/resources/people.json")
    df.show()

    df.printSchema()

    df.select("name").show()
    df.select("age").show()
    df.select(df("name"), df("age") + 1).show()
    df.filter(df("age") > 21).show()
    df.groupBy("age").count().show()
  }
}



配置截图:


补充error信息:

展开
收起
爱吃鱼的程序员 2020-06-10 13:25:51 632 0
1 条回答
写回答
取消 提交回答
  • https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB

    仔细检查一下,估计是少依赖包了,你在开发工具中,有些依赖包是它默认自带的.少了依赖包,运行应该不会成功吧

    2020-06-10 13:26:08
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Just Enough Scala for Spark 立即下载
JDK8新特性与生产-for“华东地区scala爱好者聚会” 立即下载
低代码开发师(初级)实战教程 立即下载