开发者社区> 问答> 正文

PyFlink on Yarn,Per-Job模式,如何增加多个外部依赖jar包?

PyFlink on Yarn, Per-Job模式,如何增加多个外部依赖jar包?比如flink-sql-connector-kafka、flink-connector-jdbc等。

环境信息

Flink 版本:1.11.0

Os: mac

尝试了如下方案,遇到了一些问题

1、 按照官网cli说明[1]:-j 可以指定jar包,但只能添加一个,后面在加-j不生效。

2、 按照依赖管理说明[2]:使用pipeline.jars,会报找不到文件的错误

配置信息

t_env.get_config().get_configuration().set_string("pipeline.jars", "file:///path/flink-sql-connector-kafka_2.11-1.11.0.jar;file:///path/flink-connector-jdbc_2.11-1.11.0.jar;file:///path/mysql-connector-java-5.1.38.jar")

启动命令

flink run -m yarn-cluster -pyarch venv.zip -pyexec venv.zip/venv/bin/Python -py StreamingKafkaToMysql.py

错误信息

[1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/cli.html

[2] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/python/table-api-users-guide/dependency_management.html*来自志愿者整理的flink邮件归档

展开
收起
毛毛虫雨 2021-12-08 11:30:17 881 0
1 条回答
写回答
取消 提交回答
  • 能检查一下'file://' 后面跟的是绝对路径吗?这个报错是因为对应的路径在本地磁盘上找不到导致的。*来自志愿者整理的flink邮件归档

    2021-12-08 16:18:50
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载