1.软件版本 Flink 1.8 Hadoop 3.1.2 Apache Maven 3.0.5
2.操作方式
git clone -b release-1.8.0 https://github.com/apache/flink cd flink mvn clean install -DskipTests -Dhadoop.version=3.1.2 3.问题 编译成功之后 .flink/build-target/lib 目录只有三个文件(↓) -rw-r--r-- 1 flink flink 96049496 Jun 28 15:17 flink-dist_2.11-1.8.0.jar -rw-rw-r-- 1 flink flink 489884 Jun 19 13:35 log4j-1.2.17.jar -rw-rw-r-- 1 flink flink 9931 Jun 19 13:35 slf4j-log4j12-1.7.15.jar
正常的Flink1.7.2的编译结果(↓) -rw-r--r-- 1 flink flink 93445603 Mar 27 22:46 flink-dist_2.11-1.7.2.jar -rw-r--r-- 1 flink flink 141881 Mar 27 22:44 flink-python_2.11-1.7.2.jar -rw-r--r-- 1 flink flink 53380671 Mar 27 22:19 flink-shaded-hadoop2-uber-1.7.2.jar -rw-rw-r-- 1 flink flink 489884 Mar 27 22:16 log4j-1.2.17.jar -rw-rw-r-- 1 flink flink 9931 Mar 27 22:16 slf4j-log4j12-1.7.15.jar
有没有遇到过此问题的?? *来自志愿者整理的flink邮件归档
你好 因为从Flink-1.8 开始,flink的默认编译选项里面就不再带上hadoop依赖了。可以参考[1] 了解更多信息。实际上从官方的下载链接[2]里面也说明了从Flink-1.8开始shaded-hadoop的相关jar包需要单独下载并放置在lib目录下。 如果需要shaded-hadoop jar包,可以单独去编译好的 flink-shaded-hadoop 子项目目录下找到相关的jar包。 [1] https://issues.apache.org/jira/browse/FLINK-11266 [2] https://flink.apache.org/downloads.html*来自志愿者整理的flink
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。