开发者社区 > 大数据与机器学习 > 正文

我在用flink cdc的从oracle同步历史数据到doris,请教一下存量数据是先全部拉到内存,

我在用flink cdc的从oracle同步历史数据到doris,请教一下存量数据是先全部拉到内存,拉完后再从内存存入doris吗?小数据量的时候没有问题,当我拉一个大表(2千万数据量,2个G大小)历史数据的时候,跑3-5分钟就报错了,怀疑是不是资源问题。有大佬指点一下吗。

展开
收起
真的很搞笑 2023-05-01 15:55:24 192 0
1 条回答
写回答
取消 提交回答
  • 批量拉取试试

    2023-05-19 09:35:36
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载