开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中sqlserver到es,首次速度慢有什么优化思路吗?

Flink CDC中sqlserver到es,首次速度慢有什么优化思路吗,原表1亿,目前1小时1百万?

展开
收起
cuicuicuic 2023-10-10 19:18:31 45 0
3 条回答
写回答
取消 提交回答
  • Flink CDC从SQL Server到Elasticsearch的首次速度慢可能有以下原因:

    SQL Server中的数据量大,导致Flink CDC需要处理的数据量大,从而影响速度。
    SQL Server和Elasticsearch之间的网络延迟高,导致数据传输速度慢。
    Flink CDC的配置参数设置不正确,导致数据处理效率低。

    为了解决这个问题,可以尝试以下方法:

    对SQL Server进行优化,减少数据量,提高数据处理速度。
    对SQL Server和Elasticsearch之间的网络进行优化,降低网络延迟。
    调整Flink CDC的配置参数,如增加并行度、优化数据传输等,提高数据处理效率。

    2023-10-12 16:05:23
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    Flink CDC 从 SQL Server 到 Elasticsearch 的首次速度慢可能是由于多种原因引起的,例如网络延迟、数据量过大等。以下是一些可能有用的优化思路:

    1. 调整 Flink CDC 的参数,例如 batchSizemaxRetries 等,以优化数据传输速度。
    2. 使用 Elasticsearch 的 scroll API 来处理大量数据。这种方法可以在不占用过多资源的情况下处理大量数据,并且可以在处理完成后将结果存储在 Elasticsearch 中。
    3. 如果您的 SQL Server 和 Elasticsearch 之间的距离较远,可以考虑使用多个 Flink TaskManager 来并行处理数据。
    2023-10-11 10:44:08
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    首次速度慢的问题,如果 Elasticsearch 集群本身的响应处理能力不足,则可能会导致写入速度缓慢。可以考虑增加 Elasticsearch 集群节点数量来提高处理能力。

    2023-10-11 07:48:13
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载