Flink CDC创建副本表CREATE TABLE..SELECT AS ,我是这种方式有影响生产数据库性能了,有什么好的方式吗?
还行,你这个列少,create table select 直接搞就行,让运维弄,白天要是业务量大,影响的话 晚上吧,分批的话 也挺折腾 ,用键分页搬,我一般是 create table select where 1=0
insert into xx
select * from xx不直接create进数据 ,此回答整理自钉群“Flink CDC 社区”
Flink CDC创建副本表时,使用CREATE TABLE...SELECT AS语句会将源表中的数据复制到目标表中。这种方式可能会对生产数据库的性能产生影响,因为需要从源表中读取数据并写入目标表。
为了减少对生产数据库性能的影响,可以考虑以下方式:
使用异步方式进行数据同步:Flink CDC支持异步模式,可以在不影响源表性能的情况下进行数据同步。通过设置合适的延迟时间,可以平衡实时性和性能之间的需求。
调整并行度和并发数:根据系统资源和网络带宽的情况,适当调整Flink作业的并行度和并发数,以充分利用系统资源并提高数据同步的效率。
优化查询语句:在SELECT语句中只选择需要的字段,避免全表扫描和不必要的数据传输。同时,可以使用索引等技术来加速查询过程。
使用增量同步:Flink CDC支持基于时间戳或位置的增量同步,可以根据业务需求选择合适的同步方式。增量同步可以减少数据同步的数据量和频率,从而降低对生产数据库性能的影响。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。