flink 1.13.2 在 Java/Scala 程序中调用 Python UDF函数，通过yar
HI! 我现在使用flink 1.13.2，通过java table api开发应用，其中要使用python udf函数，最终通过yarn-application方式提交；那我需要在yarn集群的机器上都安装pyflink?还是有其他方案？*来自志愿者整理的flink邮件归档
写回答
-
也可以通过以下方式： - Python libraries [1]: 把PyFlink以及其他相关依赖打包，作为依赖指定 - Python archieves [2]: 构建Python虚拟环境，并在里面安装PyFlink以及其他依赖，作为依赖指定
但是上述方式相对于直接在集群上安装来说，提交作业的时候，Flink内部需要把相关文件分发到集群节点上，如果文件比较大，有一点的overhead，会降低启动速度。
[1] https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/python/dependency_management/#python-libraries [2] https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/python/dependency_management/#archives*来自志愿者整理的flink邮件归档
2021-12-08 10:12:53赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关文章
相关电子书
更多
