开发者社区> 问答> 正文
1
0
分享

flink 1.13.2 在 Java/Scala 程序中调用 Python UDF函数,通过yar

HI!     我现在使用flink 1.13.2,通过java table api开发应用,其中要使用python udf函数,最终通过yarn-application方式提交;那我需要在yarn集群的机器上都安装pyflink?还是有其他方案?*来自志愿者整理的flink邮件归档

展开
收起
moonlightdisco 2021-12-08 09:41:48 1583 0
举报
飞天免费试用计划
领取免费云资源,开启云上实践第一步
实时计算 Flink 版
5000CU*H 3个月
额度3个月内有效
1 条回答
写回答
取消 提交回答
  • 也可以通过以下方式: - Python libraries [1]: 把PyFlink以及其他相关依赖打包,作为依赖指定 - Python archieves [2]: 构建Python虚拟环境,并在里面安装PyFlink以及其他依赖,作为依赖指定

    但是上述方式相对于直接在集群上安装来说,提交作业的时候,Flink内部需要把相关文件分发到集群节点上,如果文件比较大,有一点的overhead,会降低启动速度。

    [1] https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/python/dependency_management/#python-libraries [2] https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/python/dependency_management/#archives*来自志愿者整理的flink邮件归档

    2021-12-08 10:12:53 举报
    赞同 评论 打赏

    评论

    全部评论 (0)

    登录后可评论
问答排行榜
最热
最新

相关电子书

更多
Data Pre-Processing in Python: 立即下载
双剑合璧-Python和大数据计算平台的结合 立即下载
JDK8新特性与生产-for“华东地区scala爱好者聚会” 立即下载