"flinkcdc将oracle数据同步到doris没数据进来怎么解决？

"flinkcdc将oracle数据同步到doris没数据进来怎么解决？我用的是sql- client。

2023-07-19 15:55:03,866 WARN org.apache.flink.streaming.api.operators.collect.CollectResultFetcher [] - Interrupted when sleeping before a retry
java.lang.InterruptedException: sleep interrupted
at java.lang.Thread.sleep(Native Method) ~[?:1.8.0_242]
at org.apache.flink.streaming.api.operators.collect.CollectResultFetcher.sleepBeforeRetry(CollectResultFetcher.java:244) [flink-dist-1.16.1.jar:1.16.1]
at org.apache.flink.streaming.api.operators.collect.CollectResultFetcher.next(CollectResultFetcher.java:114) [flink-dist-1.16.1.jar:1.16.1]
at org.apache.flink.streaming.api.operators.collect.CollectResultIterator.nextResultFromFetcher(CollectResultIterator.java:106) [flink-dist-1.16.1.jar:1.16.1]
at org.apache.flink.streaming.api.operators.collect.CollectResultIterator.hasNext(CollectResultIterator.java:80) [flink-dist-1.16.1.jar:1.16.1]
at org.apache.flink.table.planner.connectors.CollectDynamicSink$CloseableRowIteratorWrapper.hasNext(CollectDynamicSink.java:222) [flink-table-planner_3f8e90e2-f765-4508-8060-aa88d0e3a901.jar:1.16.1]"

展开

收起

十一0204 2023-07-26 07:28:10 361 0

3 条回答

写回答

取消提交回答

5rda4r2daezlc

您好，请问该问题目前是否得到解决呢？我遇到了相同的问题。

2024-01-18 11:29:29

赞同展开评论打赏
Star时光
如果在使用 Flink CDC 将 Oracle 数据同步到 Doris 时，发现没有数据进来，可以尝试以下解决方案：
1. 检查 Flink CDC 配置：确认你的 Flink CDC 配置是否正确。确保已正确配置了 Oracle 数据库的连接信息，并指定了要捕获变化数据的表名和字段映射。
2. 确认 CDC 连接器状态：检查 Flink CDC 连接器的状态，确保连接器正在运行且没有出现错误或异常。如果连接器无法正常启动或存在错误，请查看相应的日志文件以获取更多详细信息，并根据错误消息进行调整。
3. 验证连接和权限：确保 Flink CDC 任务所运行的机器能够成功连接到 Oracle 数据库，并且具有足够的权限来读取相关的表和数据。请检查网络连接、防火墙设置以及数据库用户的权限配置。
4. 检查表配置和过滤条件：确认在 Flink CDC 配置中正确指定了要捕获变化的表名，并检查是否定义了适当的过滤条件。确保你关心的表没有被排除在外，并且过滤条件不会导致数据被忽略或过滤掉。
5. 检查目标表和 Sink 配置：确保你正确配置了将 Oracle 数据写入 Doris 的 Sink。验证 Doris 目标表的连接信息、表结构和字段映射是否正确设置，以确保数据能够正确地写入 Doris。
6. 查看日志和错误信息：检查 Flink CDC、任务和 Sink 的日志文件，查找是否存在任何与数据同步相关的错误或异常信息。详细的日志记录通常可以提供有关数据流和处理过程中发生的问题的更多信息。
2023-07-31 23:32:30

赞同展开评论打赏
算精通

北京阿里云ACE会长

如果您使用 Flink CDC 将 Oracle 数据库中的数据同步到 Doris 数据库时，但是发现没有数据进来，可以尝试以下几种方法进行排查：
检查 Flink CDC 和 Doris 数据库的连接是否正常：确认 Flink CDC 和 Doris 数据库的连接是否正常，包括连接字符串、用户名和密码是否正确，数据库是否可达等。可以通过测试连接的方式验证连接是否正常。
检查 Flink CDC 的任务配置是否正确：检查 Flink CDC 的任务配置是否正确，包括 CDC 源表的配置、CDC 目标表的配置、CDC 任务的配置等。如果配置错误，可能会导致数据无法正常同步到 Doris 数据库。
查看 Flink CDC 的日志：查看 Flink CDC 的日志，确定是否有错误或警告信息。如果有错误或警告信息，可以根据日志信息进一步定位问题。
确认是否有增量数据产生：检查 Oracle 数据库中是否有增量数据产生，可以通过查询 Oracle 数据库中的 CDC 表来确定。如果没有增量数据产生，可能是因为 CDC 配置有误或 Oracle 数据库中没有数据更新导致的。

2023-07-29 16:54:13

赞同展开评论打赏