value toDF is not a member of org.apache.spark.rdd.RDD

简介:

idea显示toDF() 没有这个函数,显示错误:

Error:(82, 8) value toDF is not a member of org.apache.spark.rdd.RDD[com.didichuxing.scala.BaseIndex]
possible cause: maybe a semicolon is missing before `value toDF'?
    }).toDF()

解决:
增加一行:

import sqlContext.implicits._

http://ifeve.com/spark-sql-dataframes/

在spark1.3,从RDD到DataFrame的隐式转换隔离出来,单独放到SQLContext.implicits对象中,所以现在需要把RDD转换为Dataframe就需要引入这个



本文转自轩脉刃博客园博客,原文链接:http://www.cnblogs.com/yjf512/p/7719727.html,如需转载请自行联系原作者

相关文章
|
4月前
|
分布式计算 数据处理 Apache
Spark RDD的行动操作与延迟计算
Spark RDD的行动操作与延迟计算
Spark RDD的行动操作与延迟计算
|
6月前
|
消息中间件 JSON 分布式计算
Spark4:RDD实例
Spark4:RDD实例
58 0
|
11月前
|
分布式计算 Spark
Spark RDD
转换和操作
53 0
|
11月前
|
消息中间件 分布式计算 Kafka
spark RDD
RDD
55 0
|
11月前
|
存储 分布式计算 并行计算
Spark RDD
RDD
57 0
|
存储 缓存 分布式计算
Spark RDD详解!
Spark 对数据的核心抽象——弹性分布式数据集(Resilient Distributed Dataset, 简 称 RDD) 。 RDD 其实就是分布式的元素集合。在 Spark 中, 对数据的所有操作不外乎 创 建 RDD、 转化已有 RDD 以及 调用 RDD 操作进行求值。而在这一切背后, Spark 会自动将 RDD 中的数据分发到集群上,并将操作并行化执行。
Spark RDD详解!
|
存储 机器学习/深度学习 SQL
Apache Spark vs.Apache Hadoop
Apache Spark vs.Apache Hadoop
153 0
|
SQL 存储 JSON
Apache Spark,Parquet和麻烦的Null
  关于类型安全性的经验教训,并承担过多   介绍   在将SQL分析ETL管道迁移到客户端的新Apache Spark批处理ETL基础结构时,我注意到了一些奇特的东西。 开发的基础结构具有可为空的DataFrame列架构的概念。 乍看起来似乎并不奇怪。 大多数(如果不是全部)SQL数据库都允许列为可空或不可空,对吗? 让我们研究一下在创建Spark DataFrame时,这种看似明智的概念为什么会带来问题。   from pyspark.sql import types   schema=types.StructType([
770 0
|
SQL Java Apache
hive_异常_01_(未解决)FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily
一、异常现象 单独的 hadoop、hbase 、hive 都是正常的,但是在 hive 整合hbase 时,在 hive中输入以下建表语句, CREATE TABLE hbase_table_1(key int, value string) STORED BY 'org.
4591 0
|
分布式计算 Spark SQL