问题一:Flink CDC下游都用的什么呀?
Flink CDC下游都用的什么呀?
参考回答:
Flink CDC(Change Data Capture)的主要下游包括以下几种:
- Kafka:Flink CDC可以将捕获到的数据直接写入Kafka消息队列,这对于需要将数据发送到其他系统进行处理的应用非常有用。
- Pulsar:除了Kafka之外,Flink CDC还可以将捕获到的数据写入Pulsar消息队列。
- 数据湖:Flink CDC可以将捕获到的数据写入Hudi和Iceberg等数据湖格式,这对于需要存储大量原始数据的场景非常有用。
- 数据仓库:Flink CDC还可以将捕获到的数据写入各种数据仓库,这对于需要进行数据分析和报告的应用非常有用。
此外,Flink CDC还可以通过Flink SQL原生支持的Changelog机制,使得CDC数据的加工变得非常简单。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567006
问题二:Flink CDC整库一天有2q万,很多表, 同步单表做毫秒级会有什么后果么?
Flink CDC整库一天有2q万,很多表,但是单表一天只有四五十万的样子, 同步单表做毫秒级会有什么后果么?
参考回答:
一天2千万还好
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566894
问题三:Flink CDC可以做毫秒级的同步么?
Flink CDC可以做毫秒级的同步么?
参考回答:
ms级别也可以啊,但是对数据库压力大,一般都是微批拉数据
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566893
问题四:过滤了删除操作, Flink CDC怎么还有删除操作?
过滤了删除操作, Flink CDC怎么还有删除操作?
参考回答:
你这里多了一个单引号
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566892
问题五:Flink CDC 为啥checkpoint的显示完成但是大小是0b啊3分钟前?
Flink CDC 使用sqlclient去全量传输数据的时候 为啥checkpoint的显示完成但是大小是0b啊3分钟前?
参考回答:
这可能是由于以下原因导致的:
- 数据源没有产生足够的数据。请确保您的数据源正在生成足够的数据以供Flink CDC消费。
- Flink CDC配置不正确。请检查您的Flink CDC配置,确保您已正确设置源和目标连接器以及相关参数。
- 网络问题。请检查您的网络连接是否正常,以确保数据可以正确地从源传输到Flink CDC。
- Flink作业失败。请检查您的Flink作业是否已成功启动并正常运行。如果作业失败,则可能会导致无法正确处理数据。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566891