开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中print就慢,问题是开一个main跑就挺好的,测试了一下开两个就很慢?

Flink CDC中print就慢,问题是开一个main跑就挺好的,测试了一下开两个就很慢?image.png 就是上面的截图代码,换了各表,

展开
收起
真的很搞笑 2023-07-01 19:31:15 144 0
3 条回答
写回答
取消 提交回答
  • 如果在 Flink CDC 中使用 print() 操作输出数据时速度变慢,可能是因为 print() 操作会将数据输出到控制台或日志文件中,这会占用一定的系统资源和 IO 资源,从而导致程序运行速度变慢。

    另外,如果您在 Flink CDC 中开启了多个任务,可能会出现资源竞争的情况,从而导致程序运行速度变慢。例如,多个任务同时从同一个数据库中读取数据可能会造成数据库资源的竞争,进而导致程序运行速度变慢。

    为了解决这个问题,您可以尝试以下几种方法:

    1. 减少使用 print() 操作:如果您只是想查看数据,可以使用 Flink CDC 的日志输出功能,而不是使用 print() 操作。您可以在 Flink 的配置文件中设置日志级别和日志输出路径,以方便查看数据。

    2. 对程序进行优化:如果您的程序需要进行大量的计算和数据处理,可以尝试对程序进行优化,以提高程序的运行效率。例如,使用更高效的算法和数据结构,减少数据的传输和拷贝等。

    3. 调整系统资源:如果您的程序需要占用大量的系统资源,可以尝试调整系统资源,以提高程序的运行效率。例如,增加 CPU 和内存等资源,优化网络带宽的使用等。

    4. 调整并发度:如果您的程序需要同时处理多个任务,可以尝试调整任务的并发度,以避免资源竞争和占用。例如,将任务的并发度设置为适当的值,以保证程序的稳定性和效率。

    此外,您提到开了两个 main 程序,我理解为开启了两个 CDC 程序。在同一张表或不同表上运行多个 CDC 程序可能会导致资源竞争,特别是对于本地机器来说,资源受限的情况下可能更容易出现性能下降。确保您的机器有足够的资源供两个程序同时运行,并且合理分配资源以提高性能。

    总结来说,在 Flink CDC 中,如果 print() 操作导致速度变慢,您可以减少使用 print()、优化程序、调整系统资源和并发度等方法来改善性能。同时,确保机器资源足够供两个 CDC 程序同时运行,以避免资源竞争导致的性能问题。

    2023-07-30 13:36:29
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    如果在 Flink CDC 中使用 print() 操作输出数据时速度变慢,可能是因为 print() 操作会将数据输出到控制台或者日志文件中,这会占用一定的系统资源和 IO 资源,从而导致程序运行速度变慢。
    另外,如果您在 Flink CDC 中开启了多个任务,可能会出现资源竞争的情况,从而导致程序运行速度变慢。例如,多个任务同时从同一个数据库中读取数据,可能会造成数据库资源的竞争,从而导致程序运行速度变慢。
    为了解决这个问题,您可以尝试以下几个方法:
    减少使用 print() 操作:如果您只是想查看数据,可以使用 Flink CDC 的日志输出功能,而不是使用 print() 操作。您可以在 Flink 的配置文件中设置日志级别和日志输出路径,以方便查看数据。
    对程序进行优化:如果您的程序需要进行大量的计算和数据处理,可以尝试对程序进行优化,以提高程序的运行效率。例如,使用更高效的算法和数据结构,减少数据的传输和拷贝等。
    调整系统资源:如果您的程序需要占用大量的系统资源,可以尝试调整系统资源,以提高程序的运行效率。例如,增加 CPU 和内存等资源,优化网络带宽的使用等。
    调整并发度:如果您的程序需要同时处理多个任务,可以尝试调整任务的并发度,以避免资源的竞争和占用。例如,将任务的并发度设置为适当的值,以保证程序的稳定性和效率。

    2023-07-30 11:21:24
    赞同 展开评论 打赏
  • 开两个main程序?就是开了两个cdc程序吗?同一张表?两个表,看你是本地机器吧,有没有可能自己机器资源被限制了,oracle本身就很吃内存,此回答整理自钉群“Flink CDC 社区”

    2023-07-01 19:37:49
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载