环境: flink1.9.1, on yarn hadoop2.6 flink只安装在了一台提交的机器上,
lib目录下有文件: flink-dist_2.11-1.9.1.jar flink-json-1.9.0-sql-jar.jar flink-shaded-hadoop-2-uber-2.6.5-7.0.jar flink-sql-connector-kafka_2.11-1.9.0.jar flink-table_2.11-1.9.1.jar flink-table-blink_2.11-1.9.1.jar log4j-1.2.17.jar slf4j-log4j12-1.7.15.jar
////////////// flink-shaded-hadoop-2-uber-2.6.5-7.0.jar , flink-sql-connector-kafka_2.11-1.9.0.jar flink-json-1.9.0-sql-jar.jar 这3个包是安装后,拷贝进去的
问题1:on yarn模式,我是否需要在每台机器上都安装flink软件目录,还是只需要在提交机器上有flink软件目录就行了?
问题2: 我需要用到blink-planner 连接外部kafka(1.1版本,json格式) 来生成sql表,是否 需要在lib目录下添加 flink-sql-connector-kafka_2.11-1.9.0.jar flink-json-1.9.0-sql-jar.jar 还是 在pom文件中 指定依赖,打成fat包 org.apache.flink flink-connector-kafka_2.11 ${flink.version} org.apache.flink flink-json ${flink.version} 问题3: flink run on yarn , 会额外附加lib目录下的jar包到用户jar下,再提交到yarn上运行么*来自志愿者整理的flink邮件归档
问题1: 只需要在提交作业的机器上有flink即可 问题2: 两种方式都可以 问题3: 是的。lib目录下的jar和用户的jar会一起提交到YARN*来自志愿者整理的flink邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。