问题一:cdc有有脱离flink使用的吗?
cdc有有脱离flink使用的吗?加在一起太重了
参考回答:
flink-cdc是必须用依赖flink的,怎么脱离,你可以自己用dezezium来采集
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567024
问题二:Flink数据源就是mysql到mysql。不知道有没有整库同步的支持?
Flink数据源就是mysql到mysql。不知道有没有整库同步的支持?
参考回答:
mysql的cdc connector支持多表的读,但jdbc connector应该是不支持多表的写。 所以一条语句完成应该不行, 你可以代码里面把库下的表列出来用statementSet添加多条语句执行,flink on k8s有人使用kubectl apply -f xx.yaml的方式提交任务的经验吗。 可否不用flink客户端(run-application)而使用apply -f 的方式类似于提交application模式的job上k8s
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566856
问题三:flink文档说 时态表函数只能在追加流上定义,不支持更改日志输入。 更新日志流输入是可以的呀?
flink文档说 时态表函数只能在追加流上定义,不支持更改日志输入。 但是我试了 更新日志流输入是可以的呀?
参考回答:
Apache Flink 的文档中关于时态表函数的说明是基于最佳实践和推荐设置。它指出在追加流上定义时态表函数更合适,因为这种类型的流通常包含增量数据,并且不会有删除或更新操作。
尽管如此,Flink 允许你在更改日志输入上定义时态表函数,但这可能会影响性能和结果的准确性。当使用更改日志作为输入时,你需要确保正确处理插入、更新和删除操作。否则,你可能会遇到重复记录、丢失数据或其他问题。
你的测试成功可能是因为你的更改日志只包含了插入操作,或者你的应用程序以某种方式处理了更新和删除操作。然而,这并不意味着这种方法在所有情况下都能正常工作。为了保证系统的稳定性和可靠性,建议遵循 Flink 文档中的指导原则,并在追加流上定义时态表函数。
如果你需要处理更改日志,请考虑使用 Flink CDC(Change Data Capture)功能,它能够从数据库变更日志中提取数据并将其转换为适合进行实时分析的数据流。这样可以更好地管理更改日志输入,并避免潜在的问题。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573381
问题四:Flink CDC debezium有解析sql的文档吗?怎么调用呢?
Flink CDC debezium有解析sql的文档吗?怎么调用呢?
参考回答:
解析sql直接用query可以
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567020
问题五:想解析MySQL ddl语句,Flink CDC有没有什么工具方法呢?
想解析MySQL ddl语句,Flink CDC有没有什么工具方法呢?
参考回答:
这个很多吧,debezium、canal都做得挺好的
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567019