开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这个智能调优,也是保存savepoint,然后指定新的内存参数,重启一下吗?

Flink CDC这个智能调优,也是保存savepoint,然后指定新的内存参数,重启一下吗?

展开
收起
真的很搞笑 2023-12-04 08:09:25 79 0
3 条回答
写回答
取消 提交回答
  • 是的 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-05 08:29:05
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC的智能调优可以通过保存savepoint,然后指定新的内存参数并重启来实现。具体步骤如下:

    1. 首先,使用Flink CDC连接器读取数据源,并将数据流转换为Flink程序。

    2. 在运行过程中,可以使用checkpoint()方法定期创建savepoint。这些savepoint可以用于后续的恢复和调试。

    3. 当需要调整内存参数时,可以在创建savepoint之后,修改Flink程序的内存配置参数,例如增加或减少并行度、调整缓冲区大小等。

    4. 然后,使用之前创建的savepoint来恢复Flink程序的状态。这样,Flink程序将从之前的savepoint处继续运行,而不是从头开始。

    5. 最后,重新启动Flink程序,它将使用新的内存参数进行运行。

    2023-12-04 14:08:34
    赞同 展开评论 打赏
  • Flink CDC智能调优的主要目标是优化作业的性能。这包括内存管理和作业执行状态的保存。关于内存管理,Flink具有复杂的内存模型和数据结构。Savepoint是依据Flink checkpointing机制创建的流作业执行状态的一致镜像,可以用于作业的停止与重启、fork或者更新。因此,在进行智能调优时,确实可以使用savepoint来保存当前的内存参数设置,然后根据需要修改这些参数,并重启作业以应用新的配置。

    但是需要注意的是,Savepoint并不只是用来调整内存参数的工具。实际上,Savepoint包含了作业执行状态的所有数据镜像,其元数据文件包含指向稳定存储上所有文件的指针。因此,Savepoint也可以用于故障恢复等其他场景。

    另外,Flink还提供了全托管支持智能调优和定时调优两种调优模式。这两种模式可以根据作业的实际执行情况自动进行优化,大大减轻了用户的工作负担。

    2023-12-04 11:49:14
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载