开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc 拿到oplog 日志能解析知道是加了字段吗?

flink cdc 拿到oplog 日志能解析知道是加了字段吗?flink cdc 能捕获 mongodb 的 DDL 事件吗?有人用过flink cdc 抓 mongodb 的数据吗?

展开
收起
wenti 2023-03-13 14:12:21 252 0
1 条回答
写回答
取消 提交回答
  • ChangeStreams 功能是基于 MongoDB Oplog 实现的,Oplog 提供增量数据, ChangeStreams 在 Oplog 之上包裹一层应用,对外提供一个 API 接口,将数据进行实 时推送,推送的数据类型包括:Insert、Delete、Update、Invalidate、DDL。Invalidate: 主要适用于监控的表被删除时,监控此时没有意义,会返回 Invalidate 的事件;DDL 事件 是数据库操作语言,如 Create Database、Drop Database 等。总的来说, ChangeStreams 是基于 Oplog 实现的,提供推送实时增量推送功能。——该回答整理自钉群“Flink CDC 社区”

    2023-03-13 22:48:00
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    神龙云服务器产品及技术深度解析 立即下载
    弹性创造价值:基于ECS的最佳性价比实践解析 立即下载
    又快又稳:阿里云下一代虚拟交换机解析 立即下载

    相关镜像