截至目前(2021年底),Apache Flink 社区和 Flink CDC Connectors 官方并没有直接提供对达梦(Dameng)数据库的支持。Flink CDC Connectors 主要是基于 Debezium 实现的,而 Debezium 同样也没有直接支持达梦数据库。
如果您需要采集达梦数据库变更日志(CDC),有以下一些可行的方案:
自定义 Flink Source:
可以开发一个自定义的 Flink Source Connector 来连接达梦数据库,并采集其变更日志。
数据库触发器:
在达梦数据库中使用触发器捕获变更,并将这些变更写入到一个变更表中,然后 Flink 任务周期性地从这个变更表中读取数据。
日志采集工具:
使用达梦数据库提供的或者第三方的日志采集工具来捕获变更,再用 Flink Source Connector 如 Kafka Connector 进行消费。
商业工具:
还有一些商业的数据集成工具可能已经提供了对达梦数据库的CDC支持,可以考虑使用这些工具将变更数据捕获到 Kafka,再由 Flink 进行处理。
社区贡献:
如果您有足够的资源和技术实力,您可以开发自己的 Flink CDC Connector 并贡献给社区。
数据库日志解析:
另一种可能性是解析达梦数据库的原始日志文件(如果数据库支持并且格式可解析)。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。