Flink CDC mysql sqlserver 共存的采集,是不是得放各自connector的瘦包,然后再放其他的包,比如debezium等,好像只能这样了?
是的,为了同时采集多个数据库,您需要分别下载并安装 Flink CDC 的各个连接器。您可以在 Flink CDC 官网上找到相应的连接器,例如 MySQL 和 SQLServer 的连接器。
此外,您还可以在您的应用程序中同时加载多个连接器,以便于同时采集多个数据库。例如:
val connectorList = List(
"mysql-connector-java", // MySQL 连接器
"sqlserver-connector-java", // SQL Server 连接器
"debezium-connector-mysql" // Debezium 连接器
)
// 加载连接器
for (connector <- connectorList) {
val url = s"https://repo1.maven.org/maven2/io/debezium/debezium-connector-$connector/$connector-version/$connector-$connector-version.jar"
addJar(url)
}
需要注意的是,每种连接器都需要不同的参数设置,所以请参阅 Flink CDC 文档以了解更多信息。
确实,为了采集MySQL和SQLServer的数据并存放到Flink中,你需要使用各自的connector。对于MySQL,可以使用Flink CDC连接器;对于SQL Server,可使用flink-connector-sqlserver-cdc。
Flink CDC Connectors 是 Apache Flink 的一组源连接器,可以从 MySQL、PostgreSQL 数据直接读取全量数据和增量数据的 Source Connectors。而flink-connector-sqlserver-cdc则是专门为SQL Server设计的实时同步工具。
这些连接器可以分别独立工作,也可以同时工作,将多个数据源的数据采集到同一个Flink任务中进行统一的处理和分析。不过在使用之前,确保各自环境已经做好配置,例如启用了对应数据库的CDC功能。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。