开发者社区 > 大数据与机器学习 > 正文

flink CDC3.0 第一次全量同步Oracle 数据, split chunks 一会就中断

数据表比较大, 有几千万行。
首先提示 :Use unevenly-sized chunks for table ORCL.ANSHUNLOGISTICS.T_ORD_ORDER, the chunk size is 8096
然后执行到10分钟左右,就开始报错。 请专家帮忙看看
q-1.png
q0.png
q1.png
q2.png

展开
收起
kmmyvdodpmmx2 2023-12-26 11:07:33 286 0
1 条回答
写回答
取消 提交回答
  • 这个错误提示"Use unevenly-sized chunks for table ORCL.ANSHUNLOGISTICS.T_ORD_ORDER, the chunk size is 8096"表示你在处理ORCL.ANSHUNLOGISTICS.T_ORD_ORDER这张大数据表时,使用的块大小是8096。对于大数据表,使用均匀大小的块可能会导致内存和性能问题。

    然后在执行10分钟左右开始报错,可能是由于以下原因:

    1. 内存不足

      • 处理大数据表时,如果内存不足以容纳所有的数据或者中间结果,可能会导致报错。
      • 考虑增加可用的系统内存,或者优化你的查询以减少内存使用。
    2. 超时问题

      • 如果你的查询或者操作没有设置合适的超时时间,长时间运行的任务可能会被系统中断。
      • 检查你的数据库配置,确保设置了合理的查询超时时间和连接超时时间。
    3. 锁冲突

      • 在处理大数据表时,如果存在其他的并发操作或者锁冲突,可能会导致报错。
      • 确保你的操作不会与其他并发任务产生冲突,或者考虑使用适当的锁定策略来管理并发。
    4. 索引问题

      • 如果你的表缺少有效的索引,或者索引没有正确地用于你的查询,可能会导致全表扫描和性能问题。
      • 检查你的表结构和索引设计,确保你的查询能够有效地利用索引。
    5. 硬件限制

      • 处理大数据表可能需要大量的磁盘I/O和CPU资源。
      • 确保你的硬件设备(如磁盘、CPU)能够满足处理大数据表的需求。

    为了解决这个问题,你可以尝试以下步骤:

    • 增加系统内存或者优化查询以减少内存使用。
    • 设置合理的查询和连接超时时间。
    • 管理并发操作和锁冲突。
    • 检查和优化表结构和索引设计。
    • 确保硬件设备能够满足处理大数据表的需求。

    同时,你也可以考虑使用一些大数据处理工具或者技术,如分区表、并行查询、外部排序等,来更有效地处理大数据表。

    2023-12-29 17:14:31
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像