开发者社区> 问答> 正文

使用bytearrays数组创建Spark DataSet时出错

社区小助手 2018-12-06 15:13:18 375

我正在使用case类和spark.sql({query}).as[MyCaseClass]语法在scala中创建Spark数据集

我尝试创建一个定义为我的数据集 Array[Array[Byte]]

case class HbaseRow(
ip: Array[Array[Byte]]
)

val hbaseDataSet = spark
.sql("""select ip from test_data""")
.as[HbaseRow]
通常这样可以正常工作,但是如果字节数组的数组失败了。

java.lang.ClassCastException:
org.apache.spark.sql.types.BinaryType$ cannot be cast to org.apache.spark.sql.types.ObjectType
at org.apache.spark.sql.catalyst.ScalaReflection

$$ anonfun$org$apache$spark$sql$catalyst$ScalaReflection $$

arrayClassFor$1.apply(ScalaReflection.scala:106)
at org.apache.spark.sql.catalyst.ScalaReflection

$$ anonfun$org$apache$spark$sql$catalyst$ScalaReflection $$

arrayClassFor$1.apply(ScalaReflection.scala:95)
at scala.reflect.internal.tpe.TypeConstraints$UndoLog.undo(TypeConstraints.scala:56)
该列是一个IP地址的spark数组,编码为字节数组本身。

SQL 分布式计算 Apache Scala Spark
分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:18:32

    使用Option定义case class 类

    scala> case class HbaseRow(
    | ip: Array[Option[Array[Byte]]]
    | )
    defined class HbaseRow

    scala> df.select($"ip").as[HbaseRow]
    res13: org.apache.spark.sql.Dataset[HbaseRow] = [ip: array]

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程