AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

Python UDF 执行计划优化有哪几种思路？

Python UDF 执行计划优化有哪几种思路？

展开
收起
詹姆斯邦德00 2021-11-17 17:39:41 772 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • Medusa

    主要有以下几个优化思路。

    第一个是不同类型的 UDF 的拆分，由于在一个节点中可能同时包含多种类型的 UDF，而不同的类型的 UDF 是不能放在一块执行的；

    第二个是Filter下推，其主要目的是尽可能降低含 有Python UDF 节点的输入数据量，从而提升整个作业的执行性能；

    第三个优化思路是Python UDF Chaining，Java 进程与 Python 进程之间的通信开销以及序列化反序列化 开 销 比 较 大 ， 而 PythonUDFChaining可以尽量减少Java进程和Python进程之间通信开销。

    资料来源：《Apache Flink 必知必会》，下载链接：https://developer.aliyun.com/topic/download?id=1189 

    2021-11-17 18:31:45
    赞同 展开评论
问答分类：
Python 实时计算 Flink版
问答标签：
Python优化 Python UDF Python执行计划 Python思路 Python udf优化
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
MaxCompute UDF调用python第三方包报错ImportError: No mod...
57
0
0
通义灵码生成的python代码如何进行优化才能运行顺畅，少出bog.
53
1
0
DataWorks 中udf python 依赖第三方模块，打包上传了，报gcc 版本咋办？
70
2
0
在大数据计算MaxCompute通过Python udf访问外网能成功吗？
65
1
0
如何在 SQL 任务中使用 Python UDF？
46
1
0
DataWorks调用了python写的udf，为什么有这个报错？
148
12
0
请教一下python可以不使用hint让执行计划走 bitmapscan吗？
26
0
0
大数据计算MaxCompute的Python UDF使用第三方包，有可视化操作的方式吗？
36
1
0
Python写入Hologres数据非常的慢有什么优化手段
60
1
0
MaxCompute开发python UDF 时需要用的evaluate 方法要怎么写
56
1
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问
收录在圈子:
阿里云实时计算Flink
199210
+ 订阅
实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。

相关文章

  • esProc SPL 相当于有了 Python 加持的 DuckDB
  • [oeasy]python072_名字空间是怎么玩的_from_import_as_导入_namespace
  • 使用 Python 合并微信与支付宝账单，生成财务报告
  • 探索绝对零度的极限：量子计算机的冷却技术
  • 淘宝图片搜索商品列表API接口全攻略

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • flink cdc 有没得官方介绍文档？
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • FlinkKafkaConsumer 1.11的clientId什么的看不到这个怎么解决吗？
  • flink大作业启动频繁报akka.pattern.AskTimeoutException 大家有
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • 在Flink为什么遇到这个报错后，作业虽然RUNNING，但是却HANG死了？会有什么隐形的坑吗？
  • web-ui 加载会非常慢是什么原因呢？
  • flinkcdc启动，怎么修改默认端口号，默认是8081。
  • flinksql 新增字段后状态失效，无法使用savepoint启动 有什么解决方案吗？
    • 展开全部
  • 数据仓库介绍与实时数仓案例
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
  • 阿里云实时计算产品案例&解决方案汇总
  • 流计算精品翻译: The Dataflow Model
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • 为什么说流处理即未来？
  • Flink Checkpoint 问题排查实用指南
  • 基于Flink的实时日志分析系统实践
  • 使用 Kafka 和 Flink 构建实时数据处理系统
  • 运维场景下的实时计算应用
    • 展开全部
    还有其他疑问?
    咨询AI助理