开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC分片时执行区间查询的速度会越来越慢,这是为什么?

Flink CDC分片时执行区间查询的速度会越来越慢,但是实际sql在数据库里面执行是很快的,这是为什么?image.png

展开
收起
真的很搞笑 2023-11-01 14:59:17 64 0
2 条回答
写回答
取消 提交回答
  • Flink CDC在处理大规模数据时,将数据分片进行处理,以提高处理效率和并行度。然而,随着数据量的增大,分片后的区间查询可能会遇到性能瓶颈,导致查询速度变慢。另一方面,Flink CDC初始全量同步时的速度较慢,这是因为它使用了Debezium作为捕获数据变化的引擎。Debezium在读取数据时,会使用全局锁或者快照隔离级别,这样会影响源端数据库的性能和并发能力。

    在实际的SQL查询中,如果数据库已经针对这些查询进行了优化,那么即使数据量很大,查询速度也可能仍然较快。此外,数据库可能使用了特定的索引、统计信息或缓存等技术来加速查询。因此,尽管Flink CDC在处理大数据时的查询速度可能会降低,但实际的SQL查询在数据库中执行的速度仍然可以保持较快。

    2023-11-02 14:27:22
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看

    在Flink CDC中执行区间查询速度越来越慢的原因可能是由于数据分区太多,导致查询任务在网络传输以及磁盘I/O等方面消耗大量资源。如果查询任务运行一段时间后变慢,可能是由于内存资源紧张,系统负载过高所致。
    为了避免这种情况的发生,您可以采取以下措施:

    1. 降低查询范围,缩小查询区间的大小;
    2. 调整Flink CDC任务的并发度;
    3. 提升Flink CDC任务的资源分配;
    4. 使用索引优化查询效率;
    5. 对数据库进行优化,提升查询性能。
    2023-11-02 14:27:22
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载