开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flinkcdc是怎么做到监听mysql 是定时去扫描的吗?

flinkcdc是怎么做到监听mysql 是定时去扫描的吗?

展开
收起
真的很搞笑 2023-11-07 08:05:04 68 0
3 条回答
写回答
取消 提交回答
  • 伪装成mysql的子节点去监听她的binlog,此回答整理自钉群“Flink CDC 社区”

    2023-11-08 07:42:43
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看

    是的,Flink CDC 采用了 LogMiner 技术来实时监听 MySQL 数据库中的数据变化。
    LogMiner 是一种专用于监听 MySQL 数据库的技术,它会在后台定期检测 MySQL 数据库的变化,并将这些变化转换成流式处理的形式。
    一般来说,在使用 Flink CDC 时,请按照官方文档的要求来配置 LogMiner 参数,以确保正确的工作流程,并且可以实现增量同步功能。此外,还需要考虑到其他的因素,如安全性、稳定性等。

    2023-11-07 14:39:06
    赞同 展开评论 打赏
  • Flink CDC (Change Data Capture) 是一种用于捕获数据库变化事件的技术,它可以实时地将数据库中的变化数据转换为事件并发送到下游系统进行处理。对于MySQL,Flink提供了专用的CDC connector,可以实时地从MySQL数据库中读取变化数据。

    Flink CDC的工作原理并不是定时去扫描数据库,而是通过监听数据库的binlog(二进制日志)来实现实时数据的捕获。当数据库发生数据变更时,会记录到binlog中,Flink CDC通过读取binlog中的变更数据,将其转换为事件并发送到下游系统。

    这种方式的优点是实时性高,可以立即捕获到数据库中的变化数据,而且不会影响到数据库的性能。同时,Flink CDC还支持并行处理和故障恢复,可以在数据量大的情况下保证处理的效率和稳定性。

    2023-11-07 10:27:05
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

热门讨论

热门文章

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像