开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

有人用过flink-SQL-cdc吗?

有人用过flink-SQL-cdc吗?读取数据库的存量数据如:20亿的数据,存了个80G ,难道需要设置100G的内存将存量数据读取进来吗?是有什么配置可以一次不要读取那么多,少读一点。有大佬知道吗?你是说,存量数据使用高并发大内存,增量数据根据检查点重新配置并行度和内存在继续处理是吗?

展开
收起
真的很搞笑 2023-11-06 14:01:15 57 0
2 条回答
写回答
取消 提交回答
  • 用flinkcdc的断点续传可以实现吧,是这个意思,我记得并行度不能直接调吧在flinksql里面,调完checkpoint恢复不了,内存大小应该可以调.完全不用,最多是JM多点内存分片元数据,TM内存搞小点,慢慢来就行了,比如JM 8G,TM每个slot 8G,通常tm slot数和全量同步成正比,你搞成1个slot也行,就是慢点,搞成64个slot也行,那差不多有60倍吞吐,此回答整理自钉群“Flink CDC 社区”

    2023-11-08 07:39:36
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,Flink SQL CDC 可以使用高并发大内存的方式读取存量数据,但是需要注意的是需要根据实际情况进行适当的配置,否则容易造成内存溢出等问题。
    您可以尝试以下几种方式来减少 Flink SQL CDC 读取存量数据所需的内存量:

    1. 采用分片读取的方式将大文件分割成多个小文件,并单独读取每个小文件。
    2. 将存量数据拆分为多个子表,并分别读取。
    3. 限制每次读取的数据量,例如通过设置 parallelism 参数来控制并行度。
    4. 调整内存限制参数,例如设置 taskmanager.memory.process.size 参数来限制单个 TaskManager 所使用的内存。

    此外,对于增量数据的处理,可以通过动态调整并行度和内存分配来进行优化。例如,在初始阶段使用较低的并行度和较少的内存,并随着数据量的增长逐步增加并行度和内存分配,以获得更好的性能表现。

    2023-11-06 14:41:04
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载