spark读取parquet 找不到 org/apache/hadoop/fs/FSDataInputStream-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

spark读取parquet 找不到 org/apache/hadoop/fs/FSDataInputStream

在spark-env里加上了export SPARK_DIST_CLASSPATH=$(hadoop classpath)
也没用 有人遇到过吗

展开
收起
hbase小助手 2018-11-23 12:54:10 3260 0
2 条回答
写回答
取消 提交回答
  • 余额不足

    检查下你的项目中是不是引入了版本不兼容的包,或者冲突。

    2019-07-17 23:16:10
    赞同 展开评论 打赏
  • 青鋒

    你是参考https://spark.apache.org/docs/latest/hadoop-provided.html官网推荐的方式实施的吗?

    2019-07-17 23:16:10
    赞同 展开评论 打赏
问答排行榜
最热
最新
相关电子书
更多
云HBaseSQL及分析 ——Phoenix&Spark
立即下载
R AND SPARK
立即下载
Spark Autotuning
立即下载