EMR提交flink job jar冲突
项目中用到携程的Apollo框架，依赖guava-1.19.0， EMR环境使用的是 guava-1.11.0 。由于guava-1.16.0以后变化很大，新增了方法。现在启动flink job 去读取 hadoop classpath下的guava包，导致任务运行不起来，怎么解决呢
展开
收起
2
条回答
写回答
写回答
-
目前从事大数据开发，兼顾平台搭建以及实时数据分析，主要是用scala编写程序，涉及社区开源hadoop集群，emr集群，欢迎有相同兴趣的小伙伴来交流，共同进步。最近在参与flink-java实时开发。只需要将每台节点的flink classpath下的guava包替换为16版本以后的就可以了，每次启动优先加载 /lib下的jar，就不会产生冲突。
2020-01-17 18:28:35赞同 展开评论 打赏 -
1:将EMR集群中guava版本升级替换为新的jar包，因为向下兼容 2：尝试ji将项目打成胖包，将高版本jar包打进去，让项目代码读去自己打包的依赖
2020-01-10 15:15:00赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
