开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大佬 请教个有关flink cdc changelog-jon format的问题,flink ?

大佬 请教个有关flink cdc changelog-jon format的问题,flink 1.17.0&cdc 2.4.0 不支持changelog-json吗?image.png

展开
收起
真的很搞笑 2023-07-13 13:31:56 140 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    Flink CDC 中的 changelog format 是指 Flink CDC 输出的数据格式。changelog format 通常用于描述数据库中数据的变更,包括插入、更新和删除操作。Flink CDC 支持多种 changelog format,包括 Debezium、MySQL Binlog 等。在使用 Flink CDC 进行数据同步时,需要根据具体情况选择合适的 changelog format。

    在 Debezium changelog format 中,每个事件都是一个 JSON 对象,包含了数据库表中的一行数据以及该行数据的变更类型(INSERT、UPDATE 或 DELETE)。例如,以下是一个使用 Debezium changelog format 输出的样例数据:

    json
    Copy
    {
    "database": "mydatabase",
    "table": "mytable",
    "before": {
    "id": 1001,
    "name": "Alice",
    "age": 20
    },
    "after": {
    "id": 1001,
    "name": "Alice",
    "age": 21
    },
    "op": "u",
    "ts_ms": 1627578300000
    }
    在 MySQL Binlog changelog format 中,每个事件也是一个 JSON 对象,包含了数据库表中的一行数据以及该行数据的变更类型(INSERT、UPDATE 或 DELETE)。例如,以下是一个使用 MySQL Binlog changelog format 输出的样例数据:

    json
    Copy
    {
    "databaseName": "mydatabase",
    "tableName": "mytable",
    "changeType": "INSERT",
    "data": {
    "id": 1001,
    "name": "Alice",
    "age": 20
    },
    "timestamp": 1627578300000
    }
    需要注意的是,不同的 changelog format 具有不同的特点和优缺点,具体选择哪种 changelog format 需要根据具体情况进行评估和选择。在使用 Flink CDC 进行数据同步时,需要了解并掌握 changelog format 的相关知识,并根据实际情况选择合适的 change

    2023-07-29 23:08:04
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载