开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flinksql从Oracle同步数据到Doris,一共50几个字段,Oracle表中3000多万条

flinksql从Oracle同步数据到Doris,一共50几个字段,Oracle表中3000多万条数据,同步速度3000多条每分钟很慢,请教大佬们有没有提高同步速度的方法

展开
收起
游客3oewgrzrf6o5c 2022-07-20 17:41:06 1263 0
1 条回答
写回答
取消 提交回答
  • CSDN全栈领域优质创作者,万粉博主;InfoQ签约博主;华为云享专家;华为Iot专家;亚马逊人工智能自动驾驶(大众组)吉尼斯世界纪录获得者

    在使用Flink SQL从Oracle同步数据到Doris时,可以考虑以下几个方面来提高同步速度:

    • 数据格式优化:确保Oracle表和Doris表的数据格式一致,避免数据转换和解析的开销。可以使用Flink SQL提供的类型转换函数或者手动编写类型转换代码来实现。

    • 数据过滤优化:在从Oracle同步数据时,可以通过在Flink SQL中使用过滤器来过滤掉不需要的数据,减少数据传输量和处理开销。可以使用Flink SQL提供的WHERE子句或者手动编写过滤代码来实现。

    • 并行度优化:可以通过调整Flink SQL的并行度来提高数据处理速度。Flink SQL的并行度控制着任务的并行度,可以在任务执行时动态调整。但需要注意的是,过高的并行度可能会导致资源竞争和任务调度开销,反而会降低整体性能

    • 数据缓存优化:可以使用Flink SQL提供的缓存机制来缓存Oracle表中的数据,避免频繁查询和传输数据。可以使用Flink SQL提供的MemoryStore和TableCache等缓存机制来实现。

    • 硬件资源优化:可以通过升级硬件资源来提高同步速度。例如,可以增加CPU、内存和硬盘等资源,提高任务执行速度和缓存容量。

    2023-07-26 14:24:58
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
PostgresChina2018_樊文凯_ORACLE数据库和应用异构迁移最佳实践 立即下载
PostgresChina2018_王帅_从Oracle到PostgreSQL的数据迁移 立即下载
Oracle云上最佳实践 立即下载

相关镜像