CliFrontend 未优先加载用户jar包中的class-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

CliFrontend 未优先加载用户jar包中的class

2021-12-02 15:08:18 305 1

组件版本 Hadoop 2.7.3,flink 1.9.1 ,elasticsearch6.5。 

该问题的起源是因为程序我的用户程序用Jackson,并依赖了Elasticsearch rest client ,在Yarn集群上提交任务的时候出现了如下异常: 

java.lang.NoSuchFieldError: FAIL_ON_SYMBOL_HASH_OVERFLOW 

at org.elasticsearch.common.xcontent.json.JsonXContent. (JsonXContent.java:57) 

后上网查询后推论有可能是jackson版本问题,于是打印了类加载路径: 

--------------------------main class jackson class load before run------------------------------ 

file:/usr/**/hadoop/lib/jackson-databind-2.2.3.jar 

果然是从hadoop的classpath下加载了2.2.3版本 

之后查看flink run命令入口程序 

CliFrontend#bulidProgram line 799 

PackagedProgram#PackagedProgram line 221 

JobWithJars#BuildUserCodeClassLoad line 142  

return FlinkUserCodeClassLoaders.parentFirst(urls, parent); 

默认使用parentFirst,根据官方文档里面描述的反向类加载,应该是首先从classpath下加载Class,而不是从user jar包中加载类。 

请问如何修改此处的类加载顺序,优先从user jar 中加载clas*来自志愿者整理的flink邮件归档

取消 提交回答
全部回答(1)
  • 玛丽莲梦嘉
    2021-12-02 15:48:23

    1.9.2 和 1.10 上已经修复此问题,修改可参考

    https://issues.apache.org/jira/browse/FLINK-13749*来自志愿者整理的FLINK邮件归档

    0 0
相关问答

0

回答

flink提交任务时,可以指定一个HDFS的jar包嘛?

2022-07-19 17:57:18 160浏览量 回答数 0

0

回答

springcloud vue.js 微服务分布式 前后分离 activiti工作流

2019-09-30 11:49:09 1108浏览量 回答数 0

0

回答

springcloud 项目源码 Activiti6 工作 微服务 分布式 vue.js html

2019-09-11 13:14:25 1143浏览量 回答数 0

1

回答

[@倚贤][¥20]在高版本JDK上编译的class文件能不能正常在低版本JDK上运行,公司生产环境上的JDK版本都比较低。

2018-12-16 16:50:33 2203浏览量 回答数 1

1

回答

编译HBase2.1 缺少htrace-core-3.1.0-incubating.jar

2018-11-07 16:28:24 5033浏览量 回答数 1

1

回答

java class是什么类型

2018-05-10 20:08:47 1001浏览量 回答数 1

1

回答

js怎么给div加class

2018-05-10 19:58:59 2810浏览量 回答数 1

1

回答

Intellij IDEA 怎么向Eclipse一样在编译jar文件的时候修改jdk版本?

2016-06-06 10:49:39 1828浏览量 回答数 1

1

回答

C++简单日志类,处理char*,std::string ,CStringA这三种字符串类型?

2016-03-09 11:32:03 1883浏览量 回答数 1

2

回答

阿里云 1.5G 内存的 CPU 经常爆满。。不给力啊

2011-09-21 12:19:57 6452浏览量 回答数 2
+关注
文章
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载