开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC有例子吗,传入的是字段数值?

Flink CDC有例子吗,传入的是字段数值?我只想sink 到部分表,表结构差不多的,我用RichSinkFunction 自定义sink到数据库表,但感觉还是用官方的jdbcsink性能好

展开
收起
真的很搞笑 2023-12-05 20:42:47 35 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC是一个功能强大的工具,可以从MySQL等数据库中捕获变更数据,然后对这些数据进行处理和同步。例如,你可以使用Flink的CDC从SQL Server获取指定表的增量数据,或者将MySQL中的全增量数据实时采集、预计算、并同步到Elasticsearch中。

    对于你的需求,即只向部分结构相似的表中sink数据,你可以自定义一个RichSinkFunction来实现。但是,如果感觉性能不佳,可以考虑使用Flink官方提供的JDBCSinkFlink SQL CDC + JDBC Connector本质上是一个Source和Sink并行度为1的Flink Stream Application,Source和Sink之间没有Operator,可以保证一致性。同时,采用YARN的per-job模式启动多个作业,能有更好的隔离性。

    2023-12-06 14:35:52
    赞同 展开评论 打赏
  • 不过sink端支持有限,jdbcsink不支持 精准一次语义吧 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-06 13:41:14
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载