加载本地文件时spark_session和sqlContext之间的区别-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

加载本地文件时spark_session和sqlContext之间的区别

社区小助手 2018-12-05 14:14:58 2214

我试图使用spark_session和sqlContext将本地文件作为数据帧加载。

df = spark_session.read...load(localpath)
它无法读取本地文件。df是空的。但是,在从spark_context创建sqlcontext之后,它可以加载本地文件。

sqlContext = SQLContext(spark_context)
df = sqlContext.read...load(localpath)
它工作正常。但我不理解为什么。原因是什么?

Envionment:Windows10,spark 2.2.1

pai本地 本地文件 ssi的区别 session的区别 par的区别
分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:18:22

    我正在粘贴一个可能有用的示例代码。我们用它来创建一个Sparksession对象并用它读取一个本地文件:

    import org.apache.spark.sql.SparkSession

    object SetTopBox_KPI1_1 {

    def main(args: Array[String]): Unit = {

    if(args.length < 2) {
      System.err.println("SetTopBox Data Analysis <Input-File> OR <Output-File> is missing")
      System.exit(1)
    }
    
    val spark = SparkSession.builder().appName("KPI1_1").getOrCreate()
    
    val record = spark.read.textFile(args(0)).rdd

    总的来说,在Spark 2.2中,使用Spark的首选方法是创建一个SparkSession对象。

    0 0
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

相似问题
最新问题