问题一:Flink CDC底层监听是不是用到flink定时任务还是啥?
Flink CDC底层监听是不是用到flink定时任务还是啥?
参考回答:
dbz的监听,debezium
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567538
问题二:flinkcdc是怎么做到监听mysql 是定时去扫描的吗?
flinkcdc是怎么做到监听mysql 是定时去扫描的吗?
参考回答:
伪装成mysql的子节点去监听她的binlog
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567537
问题三:有hana的cdc插件吗?
有hana的cdc插件吗?
参考回答:
是的,Flink CDC 提供了一个针对 SAP HANA 数据库的 CDC 插件,叫做 HANA CDC 插件。
HANA CDC 插件提供了一种简单的方法来实时监听 SAP HANA 数据库中的数据变化,并将其转换为流式处理。
要使用 HANA CDC 插件,请按照以下步骤操作:
- 下载并安装 Flink CDC 插件;
- 配置 SAP HANA 数据库;
- 编写 Java 应用程序来订阅 SAP HANA 数据库中的数据变化。
需要注意的是,在使用 HANA CDC 插件时,请注意 LogMiner 的参数设置,例如 database-hostname
、database-port
、database-user
等,以确保正确运行。
此外,HANA CDC 插件还提供了支持 snapshot、filter 和 incremental 的功能,可以根据实际需求选择合适的功能。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567535
问题四:Flink CDC你们cdc配置db.*,如果库里频繁加表,你们是咋操作的,一加表就重启任务?
Flink CDC你们cdc配置db.*,如果库里频繁加表,你们是咋操作的,一加表就重启任务?不生效啊,任务一直运行着,库里新建一个表,如果不重启任务,增量数据都进不去,只能savepoint,然后savepoint恢复任务,不及时恢复任务,那么后面这个表的历史数据会丢失,除非在任务初始化的时候指定表名,全量启动,后面新建的表,再加到配置里,然后恢复启动不会有问题
参考回答:
mysql有动态加表,动态加表是需要配合savepoint功能的,官网有介绍,代码里很明显这里会清空之前的table-id
我理解是和.*是没关系的
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567534
问题五:Flink oracle cdc。before有数据,after没数据。能确定这条数据被删掉了是吧?
Flink oracle cdc。before有数据,after没数据。能确定这条数据被删掉了是吧。有人夜里删掉了2千多万条审计数据,给我整不自信了。除了人为删除,还有别的可能导致这种状况吗?
参考回答:
op=d就是删除操作
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567533