Flink CDC这种反压怎么处理呀?

Flink CDC中,代码里面就是取的mysql数据写入到doris的,并行度是全局1,就只有一个子任务,这种反压怎么处理呀?image.png
image.png
image.png

展开
收起
真的很搞笑 2023-12-31 20:44:02 150 发布于黑龙江 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 因为doris每一次数据导入都会在be节点上生成数据文件;如果高频导入小量数据,就会在存储层产生大量的小文件,也会产生更多的compaction操作压力,像这种简单的,没有特别复杂的ETL任务,checking point时间间隔给个10分钟都可以 ,此回答整理自钉群“Flink CDC 社区”

    2024-01-02 08:07:09 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理