开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flinkcdc不做任何处理,直接mysql同步到 mysql 的过程中 sink 使用 哪个方法?

flinkcdc 不做任何处理,直接mysql 同步到 mysql 的过程中 sink 使用 哪个方法?mysqlSink?遇到delete 语句也能同步删除?https://blog.csdn.net/Carson073/article/details/124356702%20%E8%BF%99%E6%A0%B7%E5%90%97%EF%BC%9F还是添加builer.append("__op"); ?

展开
收起
真的很搞笑 2023-10-10 18:56:07 69 0
2 条回答
写回答
取消 提交回答
  • 在Flink CDC中,如果不需要对数据进行任何处理,直接将数据从MySQL同步到MySQL,那么Sink阶段可以使用Flink的JDBC Sink来实现。
    JDBC Sink是Flink提供的一种Sink实现,可以将数据写入到JDBC兼容的数据库中。在Flink CDC中,可以使用JDBC Sink将数据从MySQL同步到MySQL,而不需要进行任何处理。具体来说,可以使用Flink的JDBC Sink将数据从MySQL的变更日志表中读取出来,然后将数据写入到MySQL的目标表中。
    需要注意的是,使用JDBC Sink同步数据时,需要保证MySQL的目标表与MySQL的变更日志表结构相同,否则可能会导致数据同步失败。此外,如果MySQL的目标表中已经存在相同的数据,JDBC Sink可能会覆盖原有数据,因此需要谨慎操作。

    2023-10-12 16:12:34
    赞同 展开评论 打赏
  • 在Flink CDC程序中,将数据从MySQL同步到MySQL,可以使用Flink的Sink API中的MySqlSinkMySqlSink是一个Flink的Sink API,可以将数据写入到MySQL数据库中。
    对于MySQL的delete语句,MySqlSink是能够支持的。在使用MySqlSink时,可以将delete语句的数据写入到MySQL中。但是需要注意的是,MySqlSink只能将数据写入到MySQL中,不能保证数据的完整性,例如在数据传输过程中可能会出现数据丢失或数据错误等情况。
    如果需要在数据同步过程中添加操作符,例如添加操作符__op,可以在调用MySqlSink时设置相应的参数。具体来说,可以在调用MySqlSink时设置appendOp参数为true,然后在数据同步过程中添加操作符__op。这样,当数据同步到MySQL时,操作符__op就会被添加到数据中。

    2023-10-11 10:46:29
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像