EMR 5.21,Spark 2.4 - Json4s依赖性被破坏-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

EMR 5.21,Spark 2.4 - Json4s依赖性被破坏

2019-04-23 17:10:35 2708 1

问题
在EMR 5.21中,Spark-Hbase集成被破坏。
df.write.options()。format()。save()失败。
原因是json4s-jackson版本3.5.3在spark 2.4,EMR 5.21
它在EMR 5.11.2,Spark 2.2,son4s-jackson版本3.2.11中工作正常。
问题是这是EMR所以我不能用较低的json4s重建spark。
有没有解决方法?

错误
py4j.protocol.Py4JJavaError:调用o104.save时发生错误。:java.lang.NoSuchMethodError:org.json4s.jackson.JsonMethods $ .parse(Lorg / json4s / JsonInput; Z)Lorg / json4s / JsonAST $ JValue;

spark-submit --master yarn \
--jars /usr/lib/hbase/ \
--packages com.hortonworks:shc-core:1.1.3-2.3-s_2.11 \
--repositories http://repo.hortonworks.com/content/groups/public/ \
pysparkhbase_V1.1.py s3:///

取消 提交回答
全部回答(1)
  • 小六码奴
    2019-07-17 23:34:05

    快速检查SHC POM并不会直接导入json文件,因此您不能自己更改pom并构建工件。

    您将不得不与EMR团队交谈,以使他们同步构建连接器和HBase。

    FWIW,让jackson同步是发布大数据堆栈的重点之一,而AWS SDK更新他们每两周要求的习惯释放一个压力点...... Hadoop纯粹停止了移动到aws阴影SDK AWS工程决策为每个人定义选择。

    0 0
相关问答

1

回答

json数据怎么解析的

2018-05-10 20:00:09 1166浏览量 回答数 1

1

回答

json数据怎么解析

2018-05-10 19:59:05 1894浏览量 回答数 1

1

回答

json数据解析问题求解答

2016-07-06 17:54:08 1662浏览量 回答数 1

1

回答

利用shell将json数据解析后排序问题

2016-06-17 16:56:40 2429浏览量 回答数 1

1

回答

java 使用http协议访问api接口,发送json数据

2016-03-25 18:40:01 3568浏览量 回答数 1

1

回答

map<String,Model>转成json数据后要怎么解析?

2016-03-20 11:19:30 2670浏览量 回答数 1

1

回答

关于利用shell将json数据解析后排序问题

2016-03-05 12:06:49 3531浏览量 回答数 1

1

回答

spark2.1+kafka_2.11-0.9.0.1 的安装配置失败了:报错

2020-06-14 06:31:01 343浏览量 回答数 1

1

回答

使用Spark SQL中的窗口函数结束记录

2018-12-21 11:49:33 1537浏览量 回答数 1

0

回答

Spark SQL 2.0/2.1 Experiences using TPC-DS

2018-07-29 00:23:37 867浏览量 回答数 0
+关注
8
文章
487
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载