有开发flinkcdc采集达梦数据库的吗？
有开发flinkcdc采集达梦数据库的吗？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
截至目前（2021年底），Apache Flink 社区和 Flink CDC Connectors 官方并没有直接提供对达梦（Dameng）数据库的支持。Flink CDC Connectors 主要是基于 Debezium 实现的，而 Debezium 同样也没有直接支持达梦数据库。
如果您需要采集达梦数据库变更日志（CDC），有以下一些可行的方案：
自定义 Flink Source：
可以开发一个自定义的 Flink Source Connector 来连接达梦数据库，并采集其变更日志。
数据库触发器：在达梦数据库中使用触发器捕获变更，并将这些变更写入到一个变更表中，然后 Flink 任务周期性地从这个变更表中读取数据。
日志采集工具：使用达梦数据库提供的或者第三方的日志采集工具来捕获变更，再用 Flink Source Connector 如 Kafka Connector 进行消费。
商业工具：还有一些商业的数据集成工具可能已经提供了对达梦数据库的CDC支持，可以考虑使用这些工具将变更数据捕获到 Kafka，再由 Flink 进行处理。
社区贡献：如果您有足够的资源和技术实力，您可以开发自己的 Flink CDC Connector 并贡献给社区。
数据库日志解析：另一种可能性是解析达梦数据库的原始日志文件（如果数据库支持并且格式可解析）。
2024-02-27 15:48:24赞同 展开评论 -
-
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
