开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC创建副本表CREATE TABLE..SELECT AS ,有什么好的方式吗?

Flink CDC创建副本表CREATE TABLE..SELECT AS ,我是这种方式有影响生产数据库性能了,有什么好的方式吗?

展开
收起
cuicuicuic 2023-12-19 08:08:10 32 0
2 条回答
写回答
取消 提交回答
  • 还行,你这个列少,create table select 直接搞就行,让运维弄,白天要是业务量大,影响的话 晚上吧,分批的话 也挺折腾 ,用键分页搬,我一般是 create table select where 1=0
    insert into xx
    select * from xx不直接create进数据 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-19 16:20:12
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC创建副本表时,使用CREATE TABLE...SELECT AS语句会将源表中的数据复制到目标表中。这种方式可能会对生产数据库的性能产生影响,因为需要从源表中读取数据并写入目标表。

    为了减少对生产数据库性能的影响,可以考虑以下方式:

    1. 使用异步方式进行数据同步:Flink CDC支持异步模式,可以在不影响源表性能的情况下进行数据同步。通过设置合适的延迟时间,可以平衡实时性和性能之间的需求。

    2. 调整并行度和并发数:根据系统资源和网络带宽的情况,适当调整Flink作业的并行度和并发数,以充分利用系统资源并提高数据同步的效率。

    3. 优化查询语句:在SELECT语句中只选择需要的字段,避免全表扫描和不必要的数据传输。同时,可以使用索引等技术来加速查询过程。

    4. 使用增量同步:Flink CDC支持基于时间戳或位置的增量同步,可以根据业务需求选择合适的同步方式。增量同步可以减少数据同步的数据量和频率,从而降低对生产数据库性能的影响。

    2023-12-19 14:40:57
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载