AI 助理
备案控制台
开发者社区 大数据与机器学习 正文

我在用flink cdc的从oracle同步历史数据到doris，请教一下存量数据是先全部拉到内存，

我在用flink cdc的从oracle同步历史数据到doris，请教一下存量数据是先全部拉到内存，拉完后再从内存存入doris吗？小数据量的时候没有问题，当我拉一个大表（2千万数据量，2个G大小）历史数据的时候，跑3-5分钟就报错了，怀疑是不是资源问题。有大佬指点一下吗。

展开
收起
真的很搞笑 2023-05-01 15:55:24 211 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 八宝粥123

    批量拉取试试

    2023-05-19 09:35:36
    赞同 展开评论
问答分类：
Oracle 关系型数据库 流计算 实时计算 Flink版
问答标签：
实时计算 Flink版数据 实时计算 Flink版CDC 实时计算 Flink版同步 实时计算 Flink版cdc同步 实时计算 Flink版doris
问答地址：
开发者社区 > 大数据与机器学习 > 问答
相关问答
大家有Flink oracle同步doris的java工程吗？
90
1
0
flink sql cdc 同步 oracle到Doris报错提示，怎么解决？
119
1
0
DMS DTS同步，OOM了，能调整一下内存大小吗？
54
1
0
在Flink CDC中，oraclecdc3.0同步36张表导致pga内存过高报错？
89
0
0
在Flink CDC中，有遇到过这种问题的不，Oracle 同步到Doris 时的报错吗？
108
1
0
数据传输DTS同步Redis数据库内存持续增加
79
1
0
Flink CDC这里整库同步oracle的数据到doris中 可以读出来 也不报错 为啥？
77
1
0
应用中使用Solr客户端实时创建索引，并在发布内容时同步更新，是否可能导致内存泄漏或磁盘I/O过载?
67
1
0
DataWorks现在di节点同步的是否有可以用来调高内存参数的配置项？
89
1
0
FlinkCDC在同步Oracle数据到Doris时，提示这个怎么办？
288
1
0

大数据与机器学习

大数据领域前沿技术分享与交流，这里不止有技术干货、学习心得、企业实践、社区活动，还有未来。

我要提问

相关文章

  • Flink CDC 3.4 发布, 优化高频 DDL 处理，支持 Batch 模式，新增 Iceberg 支持
  • 【赵渝强老师】Scala编程语言
  • 阿里云《快速连接云数据库RDS》训练营，火热开营中！
  • 客户说｜保险极客引入阿里云AnalyticDB，多业务场景效率大幅提升
  • 【免费动手教程上线】阿里云RDS MySQL推出大容量高性能存储：高性能本地盘（最高16TB存储空间）、高性能云盘（最高64TB存储空间）

    • 热门讨论

    热门文章

  • data overflow-convert from 1456.52 to scale overfl
  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • 我在Java里使用langchain4j，搭建本地的RAG。
  • 请问如何在微软的Autogen 0.4框架下使用Qwen模型实现工具调用？
  • 数据来源：com.alibaba.fastjson.JSONException: syntax er
  • 如何用实时数据同步打破企业数据孤岛？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • 虚拟机占用内存特别大，90多个G,网上各种方法都试过了，怎么解决这个问题
  • 在api调用夸克搜索时，遇到权限不足问题
  • Apache Flink未授权访问上传导致的RCE漏洞，这个漏洞目前方案解决吗？
    • 展开全部
  • 【玩转数据系列九】机器学习为您解密雾霾形成原因
  • 【玩转数据系列十】利用阿里云机器学习在深度学习框架下实现智能图片分类
  • 每个人都应该知道的25个大数据术语
  • 你刚吃的兰州牛肉面，背后就藏着大数据
  • odps是什么?
  • 拍立淘-以图搜图中的图像搜索算法
  • DataV接入ECharts图表库 可视化利器强强联手
  • 分布式快照算法: Chandy-Lamport
  • 权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
  • 现代流式计算的基石：Google DataFlow
    • 展开全部
    还有其他疑问?
    咨询AI助理