PyFlink on Yarn, Per-Job模式,如何增加多个外部依赖jar包?比如flink-sql-connector-kafka、flink-connector-jdbc等。
环境信息
Flink 版本:1.11.0
Os: mac
尝试了如下方案,遇到了一些问题
1、 按照官网cli说明[1]:-j 可以指定jar包,但只能添加一个,后面在加-j不生效。
2、 按照依赖管理说明[2]:使用pipeline.jars,会报找不到文件的错误
配置信息
t_env.get_config().get_configuration().set_string("pipeline.jars", "file:///path/flink-sql-connector-kafka_2.11-1.11.0.jar;file:///path/flink-connector-jdbc_2.11-1.11.0.jar;file:///path/mysql-connector-java-5.1.38.jar")
启动命令
错误信息
[1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/cli.html
[2] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/python/table-api-users-guide/dependency_management.html*来自志愿者整理的flink邮件归档
能检查一下'file://' 后面跟的是绝对路径吗?这个报错是因为对应的路径在本地磁盘上找不到导致的。*来自志愿者整理的flink邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。