Flink CDC中oracle cdc2.3 + flink1.7，只能初始化同步数据？

Flink CDC中oracle cdc2.3 + flink1.7，只能初始化同步数据，但后续Oracle的增删改查不会同步出去？

展开

收起

真的很搞笑 2023-11-16 07:54:00 68 0

3 条回答

写回答

取消提交回答

小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
如果 Flink CDC 只同步初始化数据而不更新后续的变化，可能是由于以下几个原因：
1. 数据源设置不当：请检查 Flink CDC 的配置文件，确保其指向正确的数据源。
2. 长轮询超时：Flink CDC 会在初始化阶段使用长轮询来查询初始数据，但后续的变化不会使用长轮询。您可以检查 longPollingTimeout 参数，以确保其处于合理范围。
3. 源表的读取策略不当：如果源表的读取策略不是实时读取，则可能会导致 Flink CDC 仅同步初始化数据。您可以使用 FLINK-4011 参数来设置实时读取。
4. CDC 功能没有启用：如果 Flink CDC 功能没有启用，则无法同步变化。
2023-11-16 13:42:19

赞同展开评论打赏
sunrr
您好，针对Flink CDC在oracle cdc2.3 + flink1.7环境下只能初始化同步数据，但后续Oracle的增删改查无法同步出去的问题，可能的原因如下：
1. 被捕获的表或数据库上必须启用增量日志记录。请确认是否已经启用了增量日志记录。
2. Flink作业的配置是否正确，例如是否正确指定了Flink CDC连接器以及相关的Hive配置。
3. 用户是否具有适当的权限。您需要创建一个表空间来提供一个独立、可控、可扩展的存储区域，以供CDC工具捕获和管理数据库的增量数据。
4. 确保Flink作业的运行模式是正确的。如果Flink作业在提交后立即结束，可能是因为没有正确设置Flink作业的运行模式。可以尝试使用Flink SQL的INSERT INTO语句将数据插入到Hive表中。
5. 检查是否有小文件问题。对于这种情况可以使用Flink SQL批处理定期执行表合并来解决。
2023-11-16 10:33:15

赞同展开评论打赏
芯在这

好像可以同步哎，但是为什么需要那么久时间才同步，大概几分钟才会同步过去，不过就是一张测试的id、name、age的user表，就几条数据，此回答整理自钉群“Flink CDC 社区”

2023-11-16 08:36:02

赞同展开评论打赏