Flink CDC这边有sink到数据库的吗? 我这边不管是来一条写一条 还是将1秒钟内采集到的数据聚合成一批进行批量写入 都很慢 1秒钟也只有几百条数据 有没有哪位朋友有别的做法提高这个同步速度?
Flink CDC 是可以将数据 sink 到数据库中的。Flink CDC 提供了多种不同的 Sink 类型,其中就包括数据库 Sink。
如果您发现 sink 数据的速度较慢,可以从以下几个方面入手:
看flink支持那些连接器。或者对应db官网,他们有没有自己写了连接器,1分钟几百条,这个需要看什么过程,全量过程还是增量数据本身就不多,还要看你自己有没有做transform,下游数据库的接受能力等情况,Dag有没有爆红,此回答整理自钉群“Flink CDC 社区”
在Flink CDC中,你可以将数据流发送到不同的数据库中,如MySQL、Redis、Elasticsearch和Clickhouse等。例如,你可以准备三个数据库:flink_source、flink_sink、flink_sink_second,并将flink_source.source_test表实时同步到flink_sink和flink_sink_second的sink_test表。
如果你发现无论是一条条写入还是批量写入都很慢,可能是因为你正在对数据库进行大量的写操作,这可能会影响到写入性能。在这种情况下,你可以尝试以下方法来提高同步速度:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。