开发者社区> 问答> 正文

Flink CDC 如何处理从 OceanBase 拉取到的增量数据?

Flink CDC 如何处理从 OceanBase 拉取到的增量数据?

展开
收起
萝卜丝丸子 2024-08-19 22:00:54 5 0
1 条回答
写回答
取消 提交回答
  • 从 OceanBase 拉取到的增量数据首先通过 logproxy 进行拉取,logproxy-client 监听增量日志的数据流。数据流进入 Flink CDC 后,通过 Flink CDC 的处理逻辑将数据写入到 Flink 引擎中。在 Flink 中,数据会通过动态表的形式进行 SQL 操作,并通过 Continuous Queries 对流式表进行查询,最后将查询结果以表结构的形式转化为流数据发往下游。image.png

    2024-08-19 22:37:54
    赞同 3 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
开源HTAP OceanBase产品揭秘 立即下载
云数据库OceanBase 架构演进及在金融核心系统中的实践 立即下载
自研金融数据库OceanBase的创新之路 立即下载