问题一:我想用db2的cdc实时同步整个数据库,怎么配置呀?
我想用db2的cdc实时同步整个数据库,怎么配置呀?flink1.7 + cdc2.3,cdc可以做整库的同步吗?
参考回答:
开源目前参考dinky,或者等cdc3.0
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572290
问题二:Flink CDC哪位有使用过oracle cdc 抽取数据呢?
Flink CDC哪位大佬有使用过oracle cdc 抽取数据呢?现在是一次性抽取oracle 几十张表
参考回答:
您好!欢迎您提问关于Flink CDC抽提Oracle数据的问题。
Flink CDC支持使用Debezium组件抽提Oracle数据库的变更数据,可以让您实时捕获Oracle表的增删改操作,并将其发送至Apache Flink应用程序进行处理和分析。
您可以按照以下步骤使用Flink CDC抽取Oracle数据:
- 安装Debezium MySQL Connector
- 配置Debezium MySQL Connector以连接到Oracle数据库并启动读取数据
- 创建Flink Job,将Debezium Source添加到Job中,定义要读取的数据源表和字段
- 在Flink Job中使用Table API或SQL进行数据分析
- 将数据导出至目的地
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572289
问题三:Flink CDC中oracle cdc 抽取数据发生延迟半个小时 还需要调大吗?
Flink CDC中oracle cdc 抽取数据发生延迟半个小时 log.mining.batch.size.max 这个大小已经设置为1000万了 还需要调大吗 还是可以调整其他参数优化?
参考回答:
在Flink CDC中,从Oracle数据库抽取数据发生延迟可能有几个原因。首先,log.mining.batch.size.max参数的设置会影响数据抽取的频率和批量大小。如果你已经将其设置为1000万,但仍有延迟,可能需要考虑增大这个参数。然而,过大的批量大小可能会导致内存使用过多,从而引发问题,所以需要找到一个合适的平衡点。
其次,你还可以考虑调整其他参数来进行优化。例如,你可以尝试调整"log.mining.interval.ms"参数,这个参数决定了CDC源函数检查新日志的时间间隔。减小这个参数可能会缩短数据抽取的延迟,但是过小的参数可能会导致频繁的检查和处理,从而增加系统的负载。
最后,你还可以考虑优化数据库的性能。例如,你可以尝试调整Oracle数据库的配置参数,或者优化查询语句,以提高数据抽取的效率。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572288
问题四:现在有这么一个场景flink-cdc 读取MySQLbinlog ,这种情况下是不是从状态恢复不了?
现在有这么一个场景flink-cdc 读取MySQL binlog ,手动做快照停止程序,隔段时间再恢复启动,但由于binlog设置的有归档策略 比如一个小时前的文件都归档到了oss 。这种情况下是不是从状态恢复不了啊,目前应该也不支持读取oss归档的Binlog吧?
参考回答:
在Flink CDC从binlog恢复状态的过程中,如果binlog文件被归档到了OSS上,那么可能出现无法正确恢复状态的情况。这是因为Flink CDC默认只支持读取本地文件系统中的binlog文件,对于归档到OSS上的文件,目前并未提供支持。因此,在binlog设置有归档策略,比如将一个小时前的文件归档到OSS的情况下,需要停止binlog的归档或者改变归档路径为本地文件系统,才能保证Flink CDC能够正常从状态恢复。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572287
问题五:现在 flink cdc 还有这个问题吗?
现在 flink cdc 还有这个问题吗?from: https://www.modb.pro/db/603199![image.png](https://ucc.alicdn.com/pic/developer-ecology/xbqwcsm3mqvui_cebad96d4c2843faa9916f27a10fd731.png)
参考回答:
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572286