开发者社区> 问答> 正文

如何将 Python 生态功能引入 Flink 中,进而将 Python 功能分布式化的方法是什么?

如何将 Python 生态功能引入 Flink 中,进而将 Python 功能分布式化的方法是什么?

展开
收起
游客qzzytmszf3zhq 2021-12-07 15:39:13 376 0
1 条回答
写回答
取消 提交回答
  • 选择有代表性的 Python 类库,将其 API 增加到 PyFlink 中,这种方式是一个漫长的过程,因为 Python 的生态库太多了,但无论如何,我们在引入这些 APIs 之前,首要解决的问题是,解决 Python 的执行问题。 我们结合现有 Flink Table API 的现状和现有 Python 类库的特点,我们可以对现有所有的 Python 类库功能视为 用户自定义函数(UDF),集成到 Flink 中。这样我们就找到了集成 Python 生态到 Flink 中的手段是将其视为 UDF,也就是我们 Flink 1.10 中的工作。那么集成的核心问题是什么?没错,刚才说过,是 Python UDF 的执行问题。

    2021-12-07 15:39:24
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
From Python Scikit-Learn to Sc 立即下载
Data Pre-Processing in Python: 立即下载
双剑合璧-Python和大数据计算平台的结合 立即下载