如何将 Python 生态功能引入 Flink 中,进而将 Python 功能分布式化的方法是什么?
选择有代表性的 Python 类库,将其 API 增加到 PyFlink 中,这种方式是一个漫长的过程,因为 Python 的生态库太多了,但无论如何,我们在引入这些 APIs 之前,首要解决的问题是,解决 Python 的执行问题。 我们结合现有 Flink Table API 的现状和现有 Python 类库的特点,我们可以对现有所有的 Python 类库功能视为 用户自定义函数(UDF),集成到 Flink 中。这样我们就找到了集成 Python 生态到 Flink 中的手段是将其视为 UDF,也就是我们 Flink 1.10 中的工作。那么集成的核心问题是什么?没错,刚才说过,是 Python UDF 的执行问题。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。