大佬 请教个有关flink cdc changelog-jon format的问题,flink 1.17.0&cdc 2.4.0 不支持changelog-json吗?
Flink CDC 中的 changelog format 是指 Flink CDC 输出的数据格式。changelog format 通常用于描述数据库中数据的变更,包括插入、更新和删除操作。Flink CDC 支持多种 changelog format,包括 Debezium、MySQL Binlog 等。在使用 Flink CDC 进行数据同步时,需要根据具体情况选择合适的 changelog format。
在 Debezium changelog format 中,每个事件都是一个 JSON 对象,包含了数据库表中的一行数据以及该行数据的变更类型(INSERT、UPDATE 或 DELETE)。例如,以下是一个使用 Debezium changelog format 输出的样例数据:
json
Copy
{
"database": "mydatabase",
"table": "mytable",
"before": {
"id": 1001,
"name": "Alice",
"age": 20
},
"after": {
"id": 1001,
"name": "Alice",
"age": 21
},
"op": "u",
"ts_ms": 1627578300000
}
在 MySQL Binlog changelog format 中,每个事件也是一个 JSON 对象,包含了数据库表中的一行数据以及该行数据的变更类型(INSERT、UPDATE 或 DELETE)。例如,以下是一个使用 MySQL Binlog changelog format 输出的样例数据:
json
Copy
{
"databaseName": "mydatabase",
"tableName": "mytable",
"changeType": "INSERT",
"data": {
"id": 1001,
"name": "Alice",
"age": 20
},
"timestamp": 1627578300000
}
需要注意的是,不同的 changelog format 具有不同的特点和优缺点,具体选择哪种 changelog format 需要根据具体情况进行评估和选择。在使用 Flink CDC 进行数据同步时,需要了解并掌握 changelog format 的相关知识,并根据实际情况选择合适的 change
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。